El robot de voz AI Toolformer fue presentado por Meta , la empresa que creó Facebook e Instagram. Toolformer puede evolucionar para usar otras herramientas de software sin sacrificar sus habilidades básicas de modelado de lenguaje. Toolformer puede acceder a herramientas de software externas como motores de búsqueda, traductores de idiomas y calculadoras, entre otros. Esto es gracias a su capacidad para aprovechar las API, protocolos que permiten que diferentes aplicaciones se conecten entre sí. Ahora puede realizar actividades como verificación de hechos, matemáticas y programación que anteriormente requerían interacción humana gracias a esta tecnología.

La capacidad de Toolformer para seleccionar la herramienta adecuada y utilizarla en una situación dada es una ventaja clave. El modelo puede eludir las limitaciones de los modelos de lenguaje grande (LLM). Los LLM no son muy buenos en aritmética al llamar a las API. Por ejemplo, puede realizar operaciones matemáticas utilizando una aplicación de calculadora. Toolformer podría usar un enlace API a una aplicación de calendario para realizar la tarea de agregar una fecha al calendario si alguien lo desea.

Toolformer se basa en un modelo GPT-J preentrenado con 6700 millones de parámetros. Según los experimentos de los investigadores sobre diversas actividades de uso de herramientas, supera al modelo GPT-3 significativamente más grande. Esto incluye 175 mil millones de parámetros por un margen claro.
El éxito de Toolformer se basa en gran medida en su capacidad para «autosupervisar» el aprendizaje. Para entrenar a Toolformer, los investigadores le proporcionaron una pequeña cantidad de ejemplos escritos por humanos que ilustran cómo usar cada API. También le dieron acceso a un enorme conjunto de datos de modelado de lenguaje para que pudiera anotar futuras llamadas a la API. Esto le permite a Toolformer obtener una amplia comprensión de cómo usar una variedad de herramientas sin necesidad de orientación específica para tareas específicas.

La integración de herramientas de software externas en modelos de lenguaje como Toolformer probablemente conducirá a asistentes más potentes y confiables. Sin embargo, también plantea dudas sobre la seguridad y la privacidad. La capacidad de un LLM para corromper los datos del usuario o causar problemas en el mundo exterior se puede mejorar si puede realizar llamadas API. Para ilustrar, un asistente basado en LLM puede realizar involuntariamente una llamada API que viola los datos del usuario o corrompe los sistemas de terceros.

Toolformer ha logrado un avance significativo en el procesamiento del lenguaje natural. Esto se debe a su capacidad para aprovechar otras herramientas de software, como motores de búsqueda, calculadoras y traductores de idiomas, sin afectar sus habilidades básicas de modelado de idiomas. La forma en que tratamos con los modelos de lenguaje puede cambiar con esta tecnología. Esto los convierte en ayudantes más útiles y confiables. Sin embargo, al integrar herramientas de software externas en LLM, los investigadores deben ser conscientes de los problemas de seguridad y privacidad que pueden surgir.