La última versión de ChatGPT  tiene un puntaje de examen de barra uniforme que está cerca del percentil 90 de los examinados 1. Esto ha llamado la atención de la industria legal, pero las opiniones difieren en cuanto a cuán impresionante es realmente esta hazaña. Un estudiante de posgrado del Instituto Tecnológico de Massachusetts ( MIT ) dice que el desempeño de GPT-4 en el examen de la barra probablemente fue sobrevalorado y que el chatbot en realidad se ubica cerca del percentil 68 de los examinados del mundo real 2. Sin embargo, la afirmación del percentil 90 es rechazada por los investigadores originales 3. El argumento del percentil gira en torno a cómo los investigadores que estudiaron por primera vez el rendimiento del examen de barra de GPT-4 calcularon sus percentiles de puntuación 2.

ChatGPT y GPT-4

ChatGPT es un chatbot de inteligencia artificial desarrollado por OpenAI 1. GPT-4 es la última versión de la serie de modelos de lenguaje GPT de OpenAI 4. Los modelos GPT están entrenados para generar texto similar al humano al ser entrenados en grandes conjuntos de texto 4.

Desempeño de GPT-4 en el examen de la barra

GPT-4 aprobó todas las secciones del examen de la barra y obtuvo una puntuación tan alta que se acerca al percentil 90 de los examinados 1. Los investigadores Daniel Martin Katz y Michael James Bommarito examinaron el desempeño de GPT-4 en el examen de la barra y encontraron que GPT-4 se desempeñó bien en todas las secciones del examen, y sobresalió particularmente en la sección de opción múltiple del examen de la barra multiestatal (MBE). sección 1. GPT-4 respondió correctamente el 75,7% de las preguntas en la sección de opción múltiple, en comparación con el promedio humano del 68%  1. Los investigadores quedaron sorprendidos por la calidad de las respuestas generadas 1. La versión anterior de ChatGPT no funcionó tan bien 1.

Opiniones sobre el rendimiento de GPT-4

Un estudiante de posgrado en el MIT, Eric Martinez, dice que el desempeño de GPT-4 en el examen de la barra probablemente fue sobrevalorado y que el chatbot en realidad se ubica cerca del percentil 68 de los examinados del mundo real 2. Martínez argumenta que los investigadores que estudiaron el rendimiento del examen de barra de GPT-4 calcularon mal sus percentiles de puntuación 2. Los investigadores originales, Katz y Bommarito, rechazan las afirmaciones de Martínez y mantienen sus hallazgos 3.

El impacto en la industria

El rendimiento del examen de la barra de GPT-4 ha planteado preguntas sobre cómo la inteligencia artificial afectará a la industria legal 5. Algunos argumentan que la inteligencia artificial puede ayudar a los abogados a hacer su trabajo de manera más eficiente, mientras que otros temen que la inteligencia artificial reemplace los trabajos en la industria 5. El desempeño de GPT-4 en el examen de la barra demuestra que la inteligencia artificial es capaz de realizar tareas complejas que antes se consideraban del dominio humano 1. Queda por ver cómo se adaptará la industria al uso de la inteligencia artificial y qué impacto tendrá esto en los empleos de la industria.

Conclusión

El desempeño de GPT-4 en el examen de la barra llamó la atención de la industria legal y planteó preguntas sobre cómo la inteligencia artificial impactará en la industria. Las opiniones difieren sobre cuán impresionante es realmente el rendimiento de GPT-4, pero está claro que la inteligencia artificial es capaz de manejar tareas complejas que antes se pensaba que eran del dominio humano. Queda por ver cómo se adaptará la industria al uso de la inteligencia artificial y qué impacto tendrá esto en los empleos de la industria.