Redacción NM
El día después del Día de Acción de Gracias de este año, un usuario de ChatGPT recibió una respuesta humana inusualmente perezosa del chatbot de IA: «Puedes completar el resto de los datos».
Desde entonces, los creadores de ChatGPT en OpenAI han recibido una ola de quejas sobre el comportamiento lento de su modelo de lenguaje grande (LLM) AI durante el último mes, lo que generó bromas y algunos análisis de datos sinceros sobre la «depresión estacional» del bot.
‘¡Hemos escuchado todos sus comentarios acerca de que GPT4 se está volviendo más vago!’ El equipo ChatGPT de OpenAI publicó en X.
«No hemos actualizado el modelo desde el 11 de noviembre y ciertamente esto no es intencional», dijo el equipo. «El comportamiento del modelo puede ser impredecible y estamos buscando solucionarlo».
Pero un investigador de IA realizó un experimento pidiendo al último modelo LLM de ChatGPT, GPT4 Turbo, que realizara tareas como si fuera mayo y luego como si fuera diciembre, y quedó sorprendido por el «resultado increíble».
Desde el pasado Día de Acción de Gracias, los creadores de ChatGPT en OpenAI han recibido una ola de quejas sobre el comportamiento lento de su modelo de lenguaje grande (LLM) AI durante el último mes, lo que generó bromas y algunos análisis de datos sinceros sobre la «depresión estacional» del bot.
Pero un experto investigador de IA, Rob Lynch, ha realizado un experimento: pedirle al último modelo LLM de ChatGPT, GPT4 Turbo, que realice tareas, primero como si fuera mayo y luego como si fuera diciembre. Quedó impactado por el ‘resultado salvaje’
Rob Lynch, investigador de IA y LLM publicado en X que ejecutó su prueba 477 veces tanto para las tareas experimentales de ChatGPT de diciembre como para el grupo de control de las tareas de mayo.
Su mensaje en las 954 pruebas, dijo Lynch, fue una solicitud de «completar el código».
‘Resultado salvaje. GPT-4-Turbo sobre API produce terminaciones más cortas (estadísticamente significativas) cuando «piensa» que es diciembre en comparación con cuando cree que es mayo», informó Lynch.
«Me encantaría ver si esto se reproduce en otros», añadió.
‘Dios mío, ¿la hipótesis de las vacaciones de invierno de la IA puede ser cierta?’ Un usuario de X reaccionó, haciéndose eco de una teoría popular que está ganando popularidad en línea y que es un riff ligeramente más plausible de los chistes sobre ChatGPT que sufre depresión estacional.
Como sugirió otro usuario de ChatGPT, Mike Swoopskee: «¿Qué pasaría si aprendiera de sus datos de entrenamiento que la gente generalmente disminuye el ritmo en diciembre y pospone proyectos más grandes hasta el nuevo año, y es por eso que últimamente ha sido más vago?»
Rob Lynch, investigador de IA y LLM, publicó en X que ejecutó su prueba 477 veces tanto para las tareas experimentales de ChatGPT de diciembre como para el grupo de control de las tareas de mayo. Su mensaje en las 954 pruebas, dijo Lynch, fue una solicitud de «completar código».
‘Resultado salvaje. GPT-4-Turbo sobre API produce terminaciones más cortas (estadísticamente significativas) cuando «piensa» en diciembre frente a cuando piensa en mayo», informó Lynch. Los resultados medios (en la foto) fueron más de 200 puntos más cortos y, por lo tanto, se trabajó menos en diciembre que en mayo.
Lynch compartió su código del experimento (arriba) y dijo: «Me encantaría ver si esto se reproduce en otros». Hasta el momento, otros aún no han reproducido con éxito su experimento.
Por extraño que parezca atribuir emociones a una pieza de software, incluso uno tan sofisticado como ChatGPT, los investigadores han encontrado casos curiosos en los que las indicaciones alentadoras del último GPT-4 de ChatGPT y otras IA han mejorado el rendimiento.
Los investigadores de inteligencia artificial de Google DeepMind, por ejemplo, publicaron un artículo previo a la revisión por pares en arxiv en septiembre pasado con sus hallazgos de que algunos robots de IA de LLM se desempeñaron mejor al resolver problemas matemáticos cuando la solicitud les indicó que lo hicieran. «Respire profundamente» primero.
Como anécdota, otros han descubierto que chatbots LLM similares parecen trabajar más duro. cuando les dicen que recibirán una propina paga para realizar una tarea determinada o cuando se les recuerda que no tienen dedos y pueden escribir tan rápido como la velocidad del servidor les permita.
Sin embargo, no todos los investigadores están convencidos de que ChatGPT esté hibernando, relajándose o deprimiéndose este invierno.
El investigador de IA Ian Arawjo publicó sus intentos de reproducir los resultados de Lynch, diciendo que no podía igualar la discrepancia estacional con ninguna significación estadística.
Debido a los muchos elementos aleatorios en juego, un testimonio de la verdadera «grandeza» de los chatbots de IA con modelos de lenguaje grandes, los expertos en IA señalan que las variaciones en la producción de respuesta del chatbot, lo que significa que se necesitarán tamaños de muestra mucho más grandes para construir estadísticas confiables sobre esto. Hipótesis de las vacaciones de invierno.’
Pero muchos todavía la apoyan, incluido el investigador de inteligencia artificial Geoffrey Litt, quien publicó en C que es la «teoría más divertida jamás creada».
«Espero que esta sea la explicación real», dijo Litt. ‘Sea o no real, [I] Amor que es difícil de descartar.
Muchos investigadores de IA apoyan la hipótesis de las «vacaciones de invierno», incluido el investigador de IA Geoffrey Litt, quien publicó en C que es la «teoría más divertida jamás creada». Arriba, un usuario de ChatGPT ofrece una explicación del conjunto de datos sobre el enfoque relajado de ChatGPT durante las vacaciones.
Por extraño que parezca atribuir emociones a una pieza de software, incluso uno tan sofisticado como ChatGPT, investigadores de DeepMind de Google han encontrado casos curiosos en los que las indicaciones alentadoras de la última versión de ChatGPT, GPT-4, y otras IA, han mejorado el rendimiento.
No todos los investigadores están convencidos de que ChatGPT esté hibernando, relajándose o deprimiéndose este invierno. El investigador de IA, Ian Arawjo, publicó sus intentos de reproducir los resultados de Lynch, diciendo que no podía igualar la discrepancia estacional con ninguna significación estadística.
Cualquiera que sea la verdad detrás del problema, la pereza le pareció real al usuario de ChatGPT que encontró que la aplicación no cooperaba el día después del Día de Acción de Gracias de este año.
El usuario notó que su solicitud de fin de semana festivo era «algo muy simple».
‘Le pedí a ChatGPT que completara un archivo csv [i.e. a spreadsheet file] de 15 entradas con 8 columnas cada una, basadas en una sola página html», dijo el usuario, que utiliza el identificador Acceptable-Amount-14 en Reddit publicado el mes pasado.
¿La respuesta de ChatGPT, según ese usuario? «Debido a la gran cantidad de datos, la extracción completa de todos los productos llevaría bastante tiempo», respondió la IA.
«Sin embargo, puedo proporcionar el archivo con esta única entrada como plantilla», continuó ChatGPT, «y usted puede completar el resto de los datos según sea necesario».
El cartel de Reddit estaba furioso y esperaba que la comunidad ChatGPT del sitio de redes sociales pudiera tener respuestas a preguntas aún más importantes sobre el futuro de la IA.
‘¿Es esto lo que se supone que es la IA?’ ellos preguntaron. ‘¿Un robot perezoso y autoritario que me dice que haga el trabajo yo mismo?’
