11 Desventajas del Contenido de ChatGPT

Destacados

• Por qué el contenido de baja calidad de ChatGPT pasa la revisión humana.
• ChatGPT es completo incluso cuando debería ser conciso.
• El profesor cita una falla que arruina los ensayos generados por ChatGPT.
• ChatGPT falla la prueba de detección de androides ficticios de Voight-Kampff y la razón sorprendente de por qué esto importa.

ChatGPT produce contenido que es exhaustivo y plausiblemente preciso.

Pero investigadores, artistas y profesores advierten de las limitaciones a tener en cuenta que degradan la calidad del contenido.

En este artículo, vamos a ver 11 desventajas del contenido de ChatGPT. Vamos a sumergirnos.

1. El uso de frases lo hace detectable como no humano

Los investigadores que estudian cómo detectar el contenido generado por máquinas han descubierto patrones que lo hacen sonar antinatural.

Una de las peculiaridades es cómo la inteligencia artificial tiene dificultades con los modismos.

Un modismo es una frase o expresión con un significado figurado adjunto, por ejemplo, "no hay mal que por bien no venga".

La falta de modismos dentro de un contenido puede ser una señal de que el contenido ha sido generado por una máquina - y esto puede formar parte de un algoritmo de detección.

Esto es lo que dice el documento de investigación de 2022 Adversarial Robustness of Neural-Statistical Features in Detection of Generative Transformers sobre esta peculiaridad en el contenido generado por máquinas:

“Las características frásicas complejas se basan en la frecuencia de palabras y frases específicas dentro del texto analizado que ocurren con más frecuencia en el texto humano.

…De todas estas características fraseológicas complejas, las características idiomáticas conservan el mayor poder predictivo en la detección de los modelos generativos actuales."

Esta incapacidad para usar modismos contribuye a que la salida y lectura de ChatGPT suene y lea de forma antinatural.

2. ChatGPT carece de habilidad para la expresión

Un artista comentó que la salida de ChatGPT imita lo que es el arte, pero carece de las cualidades reales de la expresión artística.

La expresión es el acto de comunicar pensamientos o sentimientos.

La salida de ChatGPT no contiene expresiones, solo palabras.

No puede producir contenido que conmueva emocionalmente a las personas en el mismo nivel que un ser humano, debido a que no tiene pensamientos o sentimientos reales.

El artista musical Nick Cave, en un artículo publicado en su boletín Red Hand Files, hizo comentarios sobre una letra de ChatGPT que le enviaron y que estaba creada en el estilo de Nick Cave.

Nueva herramienta de marketing de contenido con inteligencia artificial
Adopta tecnologías de última generación antes que tus competidores. Crea contenido bien optimizado y enfocado que ofrezca resultados tres veces más rápidos.

Él escribió:

"Lo que hace que una gran canción sea excelente no es su parecido cercano con una obra reconocible.

…es el enfrentamiento sin aliento con la propia vulnerabilidad, peligrosidad, pequeñez, enfrentados a una sensación de repentina y chocante revelación; es el acto artístico redentor que conmueve el corazón del oyente, donde reconoce en los mecanismos internos de la letra su propia sangre, su propia lucha y su propio sufrimiento.”

Cave llamó a las letras de ChatGPT una burla.

Esta es la letra de ChatGPT que se asemeja a una letra de Nick Cave:

“Tengo la sangre de ángeles en mis manos
Tengo el fuego del infierno en mis ojos
Soy el rey del abismo, el gobernante de la oscuridad
Soy el que temen, en las sombras escuchan”

Y esta es una letra real de Nick Cave (Hermano, mi Copa Está Vacía):

“He estado deslizando sobre arcoíris
He estado balanceándome de las estrellas
Ahora este desgraciado vestido de mendigo
Golpea su taza contra los bares
Mira, ¡esta taza mía está vacía!
Parece que he perdido mis deseos
Parece que estoy barriendo las cenizas
De todos mis antiguos fuegos”

Es fácil ver que la letra generada por un ordenador se parece a la letra del artista, pero en realidad no comunica nada.

Las letras de Nick Cave cuentan una historia que resuena con el patetismo, el deseo, la vergüenza y la engañosa voluntad de la persona que habla en la canción. Expresa pensamientos y sentimientos.

Es fácil ver por qué Nick Cave lo llama una burla.

3. ChatGPT no produce conocimientos

Un artículo publicado en The Insider citó a un académico que señaló que los ensayos académicos generados por ChatGPT carecen de perspicacia sobre el tema.

ChatGPT resume el tema pero no ofrece una perspectiva única sobre él.

Los seres humanos crean a través del conocimiento, pero también a través de su experiencia personal y percepciones subjetivas.

El profesor Christopher Bartel de la Appalachian State University ha comentado a The Insider que, aunque un ensayo de ChatGPT podría exhibir altas cualidades gramaticales e ideas sofisticadas, todavía carecería de perspectiva.

Bartel dijo:

"Son realmente esponjosos. No hay contexto, no hay profundidad ni perspectivas".

La perspicacia es la marca de un ensayo bien hecho y es algo en lo que ChatGPT no es particularmente bueno.

Esta falta de perspectiva es algo a tener en cuenta al evaluar el contenido generado por máquinas.

4. ChatGPT es demasiado verboso

Un artículo de investigación publicado en enero de 2023 descubrió patrones en el contenido de ChatGPT que lo hacen menos adecuado para aplicaciones críticas.

El artículo se titula, ¿Qué tan cercano está ChatGPT a los expertos humanos? Comparación de corpus, evaluación y detección.

La investigación mostró que los humanos prefirieron las respuestas de ChatGPT en más del 50% de las preguntas respondidas relacionadas con finanzas y psicología.

Sin embargo, ChatGPT no pudo contestar preguntas médicas porque los humanos prefieren respuestas directas, algo que la IA no proporcionó.

Los investigadores escribieron:

"...ChatGPT se desempeña mal en términos de utilidad para el dominio médico tanto en inglés como en chino."

En nuestro conjunto de datos recopilado, ChatGPT a menudo da respuestas largas a las consultas médicas, mientras que los expertos humanos pueden dar respuestas o sugerencias directas y sencillas, lo que puede explicar en parte por qué los voluntarios consideran que las respuestas humanas son más útiles en el ámbito médico.”

ChatGPT tiende a abordar un tema desde diferentes ángulos, lo que lo hace inapropiado cuando la mejor respuesta es directa.

Los profesionales del marketing que utilicen ChatGPT deben tener en cuenta que los visitantes del sitio que requieran una respuesta directa no estarán satisfechos con una página web verbosa.

Y buena suerte para clasificar en los snippets destacados de Google una página excesivamente larga, donde una respuesta concisa y claramente expresada que pueda funcionar bien en Google Voice puede tener una mejor oportunidad de clasificar que una respuesta larga y enredada.

OpenAI, los creadores de ChatGPT, reconocen que dar respuestas verbosas es una limitación conocida.

El artículo de anuncio de OpenAI dice:

“El modelo a menudo es demasiado verboso…”

La tendencia de ChatGPT de proporcionar respuestas largas es algo a tener en cuenta al utilizar la salida de ChatGPT, ya que puede haber situaciones en las que respuestas más cortas y directas sean mejores.

5. El Contenido de ChatGPT Está Altamente Organizado con una Lógica Clara

ChatGPT tiene un estilo de escritura que no solo es verborrágico sino que también tiende a seguir una plantilla que le da al contenido un estilo único que no es humano.

Esta calidad inhumana se revela en las diferencias entre cómo los humanos y las máquinas responden preguntas.

La película Blade Runner tiene una escena con una serie de preguntas diseñadas para revelar si la persona que responde a las preguntas es humana o un androide.

Estas preguntas formaron parte de un examen ficticio llamado "Examen Voigt-Kampff".

Una de las preguntas es:

"Estás viendo la televisión. De repente te das cuenta de que una avispa está caminando en tu brazo. ¿Qué harías?"

Una respuesta normal humana sería decir algo como gritar, salir y espantarlo, y así sucesivamente.

Pero cuando le hice esta pregunta a ChatGPT, me ofreció una respuesta meticulosamente organizada que resumió la pregunta y luego ofreció múltiples posibles resultados lógicos, sin responder la pregunta real.

Captura de pantalla de ChatGPT respondiendo una pregunta del Test Voight-Kampff

La respuesta está altamente organizada y lógica, lo que le da una sensación altamente antinatural, lo cual no es deseable.

6. ChatGPT es demasiado detallado y completo

ChatGPT se entrenó de manera que recompensaba a la máquina cuando los humanos estaban satisfechos con la respuesta.

Los evaluadores humanos tienden a preferir respuestas que tengan más detalles.

Pero a veces, como en un contexto médico, una respuesta directa es mejor que una comprensiva.

Esto significa que la máquina necesita recibir instrucciones para ser menos compleja y más directa cuando esas cualidades son importantes.

Desde OpenAI:

"Estos problemas surgen por prejuicios en los datos de entrenamiento (los instructores prefieren respuestas más largas que parecen más completas) y por conocidos problemas de sobre-optimización."

7. ChatGPT Difunde Mentiras (Alucina Datos)

El trabajo de investigación citado anteriormente, ¿Qué tan cercano está ChatGPT a los Expertos Humanos?, señaló que ChatGPT tiene una tendencia a mentir.

Se informa:

“Al responder una pregunta que requiera conocimientos profesionales en un campo específico, ChatGPT puede fabricar hechos para proporcionar una respuesta...

Por ejemplo, en cuestiones legales, ChatGPT puede inventar algunas disposiciones legales inexistentes para responder a la pregunta.

…Además, cuando un usuario realiza una pregunta sin respuesta existente, ChatGPT también puede fabricar hechos para proporcionar una respuesta.

El sitio web de Futurism documentó casos donde el contenido generado por máquinas publicado en CNET era incorrecto y estaba lleno de "errores tontos".

CNET debería haber tenido una idea de que esto podría suceder, ya que OpenAI publicó una advertencia sobre una salida incorrecta:

"ChatGPT a veces escribe respuestas plausibles pero incorrectas o sin sentido."

CNET afirma haber enviado los artículos generados por la máquina a revisión humana previa a su publicación.

Un problema con la revisión humana es que el contenido de ChatGPT está diseñado para sonar persuasivamente correcto, lo que puede engañar a un revisor que no es un experto en el tema.

8. ChatGPT es artificial porque no es divergente

El trabajo de investigación, ¿Qué tan cercano está ChatGPT a los expertos humanos?, también señaló que la comunicación humana puede tener significados indirectos, lo que requiere un cambio de tema para entenderlo.

ChatGPT es demasiado literal, lo que hace que a veces las respuestas pasen por alto el tema real porque la IA no lo comprende.

Los investigadores escribieron:

"Las respuestas de ChatGPT suelen estar estrictamente enfocadas en la pregunta dada, mientras que las de los humanos son divergentes y fácilmente cambian a otros temas".

En términos de riqueza de contenido, los humanos son más divergentes en diferentes aspectos, mientras que ChatGPT prefiere enfocarse en la pregunta en sí misma.

Los humanos pueden responder al significado oculto detrás de una pregunta basados en su sentido común y conocimiento, pero ChatGPT se basa en las palabras literales de la pregunta en cuestión…”

Los humanos somos mejores para divergir de la pregunta literal, lo cual es importante para responder preguntas del tipo "y sobre" o "qué pasa con".

Por ejemplo, si pregunto:

“Los caballos son demasiado grandes para ser mascotas. ¿Qué tal los mapaches?”

La pregunta anterior no está preguntando si un mapache es una mascota apropiada. La pregunta es sobre el tamaño del animal.

ChatGPT se enfoca en la adecuación del mapache como mascota en lugar de centrarse en el tamaño.

Captura de pantalla de una respuesta de ChatGPT demasiado literal

9. ChatGPT tiene una tendencia hacia la neutralidad.

La salida de ChatGPT suele ser neutral e informativa. El sesgo en la salida puede parecer útil pero no siempre lo es.

El documento de investigación que acabamos de discutir señaló que la neutralidad es una cualidad no deseada en cuestiones legales, médicas y técnicas.

Los seres humanos tienden a tomar partido cuando ofrecen este tipo de opiniones.

10. ChatGPT está sesgado para ser formal

La salida de ChatGPT tiene un sesgo que le impide relajarse y responder con expresiones comunes. En cambio, sus respuestas tienden a ser formales.

Por otro lado, los seres humanos tienden a responder a preguntas con un estilo más coloquial, utilizando un lenguaje cotidiano y jerga - lo opuesto a lo formal.

ChatGPT no utiliza abreviaturas como GOAT o TL;DR.

Las respuestas también carecen de instancias de ironía, metáforas y humor, lo que puede hacer que el contenido de ChatGPT sea demasiado formal para algunos tipos de contenido.

Los investigadores escriben:

"...ChatGPT gusta de utilizar conjunciones y adverbios para transmitir una secuencia lógica de ideas como "En general", "por otro lado", "En primer lugar", "En segundo lugar", "Por último" y así sucesivamente."

11. ChatGPT Todavía Está En Entrenamiento

ChatGPT todavía está en proceso de entrenamiento y mejora.

OpenAI recomienda que todo el contenido generado por ChatGPT debería ser revisado por un ser humano, catalogándolo como una buena práctica.

OpenAI sugiere mantener a los humanos en el proceso:

"Siempre que sea posible, recomendamos que un humano revise los resultados antes de utilizarlos en la práctica."

Esto es especialmente crítico en dominios de alto riesgo y para la generación de código.

Los humanos deberían ser conscientes de las limitaciones del sistema, y tener acceso a cualquier información necesaria para verificar las salidas (por ejemplo, si la aplicación resume notas, un humano debería tener fácil acceso a las notas originales para referirse a ellas).

Cualidades no deseadas de ChatGPT

Está claro que hay muchos problemas con ChatGPT que lo hacen inadecuado para la generación de contenido sin supervisión. Contiene sesgos y no logra crear contenido que se sienta natural o contenga conocimientos genuinos.

Además, su incapacidad para sentir o crear pensamientos originales lo convierte en una mala elección para generar expresiones artísticas.

Los usuarios deben seguir indicaciones detalladas para generar contenido mejor que el contenido predeterminado que tiende a generar.

Por último, la revisión humana del contenido generado por máquinas no siempre es suficiente, porque el contenido de ChatGPT está diseñado para parecer correcto, incluso cuando no lo es.

Eso significa que es importante que los revisores humanos sean expertos en la materia que puedan discernir entre contenido correcto e incorrecto en un tema específico.