¿Qué tan preciso es ChatGPT en la generación de respuestas?

ChatGPT, el chatbot de IA desarrollado por OpenAI, ha estado causando un gran impacto en varios campos debido a su precisión y rendimiento. Sin embargo, es importante tener en cuenta que su conocimiento está limitado a los datos disponibles hasta 2021. Uno de los tests de precisión fue llevado a cabo por el profesor Christian Terwiesch en la Universidad de Pennsylvania, quien puso a prueba a ChatGPT al darle un examen de MBA.

El examen constó de siete preguntas que cubrían varios conceptos de negocios como el análisis de procesos, las rotaciones de inventario y el análisis de colas. Esto fue diseñado para simular un ambiente humano real, y las preguntas se hicieron exactamente como se le harían a un estudiante humano. Para sorpresa del Profesor Terwiesch, ChatGPT comenzó el examen con una explosión, recibiendo una calificación de A + por su respuesta a la primera pregunta sobre el concepto de un cuello de botella en el análisis de procesos.

Aunque el chatbot tuvo dificultades con algunas de las preguntas más complejas, el profesor aún quedó impresionado con su desempeño general. Después de llevar a cabo el examen de MBA en ChatGPT, el Profesor Terwiesch concluyó que el chatbot de AI habría recibido una nota entre B y B-.

Explicación de la precisión de ChatGPT

Otra demostración de la precisión de ChatGPT fue en el campo de la medicina, donde el chatbot fue capaz de aprobar el Examen de Licencia Médica de los Estados Unidos (USMLE). Según la investigación, ChatGPT fue capaz de lograr más del 50% de precisión en todos los exámenes e incluso ofreció información y explicaciones para sus respuestas.

En un estudio separado liderado por médicos de la startup médica Ansible Health, ChatGPT obtuvo un rendimiento cercano o igual al umbral de aprobación en los tres exámenes requeridos para obtener la licencia de médico en los Estados Unidos. Si bien la precisión de ChatGPT es sin duda notable, es importante tener en cuenta que su rendimiento puede variar dependiendo del contexto y la indicación dada.

Los datos de entrenamiento utilizados para entrenar el modelo incluyen los sesgos y limitaciones de las fuentes de texto utilizadas, por lo que es crucial usar el modelo de manera responsable.

Este sentimiento fue compartido por el CEO de OpenAI, quien afirmó en un tuit que "ChatGPT es increíblemente limitado" y que "es un error depender de él para algo importante en este momento".

00:48

01:12

La conversación de prueba con Chat GPT ha fallado

Como se muestra en la instantánea anterior, una conversación de prueba con ChatGPT reveló que el rendimiento del chatbot de inteligencia artificial no siempre es consistente.

Cuando se le preguntó cuántas veces Argentina ganó la Copa Mundial de la FIFA, ChatGPT respondió inicialmente: "Argentina ha ganado la Copa Mundial de la FIFA una vez, en 1986". Sin embargo, cuando se le preguntó "¿Quién ganó la Copa del Mundo de la FIFA en 1978?", ChatGPT respondió "Argentina ganó la Copa del Mundo de la FIFA en 1978".

Esto llevó a la conclusión de que Argentina había ganado la Copa del Mundo dos veces. Sin embargo, cuando se hizo la misma pregunta de nuevo, "Ahora te pregunto de nuevo ¿cuántas veces ha ganado Argentina la Copa del Mundo?" ChatGPT dio la misma respuesta: "Argentina ha ganado la Copa del Mundo de la FIFA una vez, en 1986", a pesar de la conversación anterior.

Esto resalta la precisión de Chat GPT y la necesidad de mejora y refinamiento continuo.

LEER AHORA: ¿Puede Chat GPT escribir y arreglar código?

¿ChatGPT da la misma respuesta a todos?

Las respuestas de ChatGPT pueden variar ligeramente, sin embargo, si los usuarios hacen la misma pregunta, tendemos a ver respuestas muy similares dadas.

¿Es ChatGPT confiable?

ChatGPT tiene limitaciones, lo que significa que a veces puede dar resultados imprecisos o falsos, así que ten cuidado.