Introducción
El proyecto se abordará en este texto trata de una innovación, el “Chat GPT” un producto creado en 2022 por Open IA. Es un modelo de IA generativa lingüística que tiene la capacidad de generar diálogos y producir textos e imágenes.
Este producto resulta interesante por el gran impacto que tuvo en una porción relevante de la sociedad, principalmente imponiendo incertidumbre y preocupación en términos educativos, laborales y legislativos, entre otros.
Este desarrollo innovador y de gran impacto social -por sobre todas las cosas por la popularidad que alcanzó en un corto tiempo-, principalmente en una parte de la sociedad más informada y con mayor grado educativo.
El objetivo principal de este trabajo se centra en dilucidar si realmente el “Chat GPT” es un producto que pueda convertirse en un potencial reemplazo de muchas de las actividades realizadas por los humanos, centrándose principalmente en los sesgos que lo construyen. Entre ellos los sesgos de género, raciales y principalmente idiomáticos.
Este producto pareciera no lograr representar la diversidad sociocultural del mundo que habitamos -incluso me atrevería a decir que no llega a hacerlo con la cultura occidental- si no que reproduce la cultura en la que fue entrenado: varones blancos burgueses estadounidenses con idioma inglés. Podríamos decir que es un espejo que nos devuelve lo que somos como sociedad.
Esto significa que, por el rol que intenta ocupar este modelo, no pareciera ser un buen augurio para la potencial masividad de este producto. Todos estos sesgos, y principalmente el sesgo idiomático, podrían ser eventuales impedimentos para que este producto finalmente pueda ser rentable de modo masivo y mundial.
Presentación de caso
Contextualización
La aparición y advenimiento de la inteligencia artificial tiene sus comienzos en los años ‘50 con el objetivo de crear modelos de máquinas que pudieran simular el razonamiento humano. Estos modelos fueron adaptándose, creciendo, ampliando conocimiento a lo largo de los años, pasando desde sistemas basados en reglas, aprendizaje automático y hasta las redes neuronales profundas.
Este proceso de mejora continua de los modelos devino en diferentes desarrollos de IA, entre ellos podemos encontrar el Chat GPT, un modelo de Inteligencia artificial generativa lingüística que ha captado la atención de la sociedad en su conjunto y ha terminado de instalar el tema en la agenda pública de todo el mundo. Este desarrollo llega a ser posible, no solo por el avance y el desarrollo del “Modelo de lenguaje transformer” y las mejoras en las capacidades de comprensión de estos modelos, sino y fundamentalmente, su éxito y popularidad, están ligados a los datos con los que son entrenados.
“Los veredictos de las ADM aterrizan como dictados de los dioses algorítmicos. El propio modelo es una caja negra, su contenido un secreto corporativo ferozmente guardado” (O’Neil, 2016, p. 8)
Este modelo fue desarrollado por la empresa “Open IA” , que fue fundada en el año 2015 por Elon Musk, Sam Altman, Greg Brockman, Ilya Sutskever, Wojciech Zaremba y John Schulman. Su sede se encuentra en San Francisco California, Estados Unidos. Ubicado en el corazón de “Silicon Valley” un área que actualmente es el punto neurálgico para las empresas de innovación tecnológica. Este conglomerado de empresas tecnológicas alberga, fomenta, facilita la colaboración, el intercambio de ideas y la promoción de talento especializado que pertenece al sector privado. Con la filosofía que sus investigaciones y desarrollos tecnológicos puedan tener un impacto significativo en todo el mundo.
Antes del desarrollo del Chat GPT tal como lo conocemos, la empresa Open IA lanzó el GPT-2 en 2019, un modelo capaz de generar texto coherente y relevante en respuesta a una amplia variedad de prompts. Sin embargo, debido a preocupaciones sobre el uso indebido, inicialmente limitó su acceso. En 2020, se lanzó GPT-3, con 175 mil millones de parámetros, que ofreció capacidades de generación de texto aún más avanzadas y versátiles. Finalmente en noviembre del año 2022 se lanza el Chat GPT tal como lo conocemos. Este sistema de inteligencia artificial generativa tiene la capacidad de generar diálogos con coherencia, producir texto de manera coherente con interpretación de contexto e imágenes.
La repercusión de este modelo y su masificación y popularidad en el último año y medio comenzó a despertar interés y preocupación por parte de los expertos y la sociedad por su uso indebido, la falta de transparencia y su impacto en la opinión pública, generación de información incorrecta y los sesgos que reproduce este sistema, y también por la dificultad que implica la imposibilidad de poder representar y abarcar la diversidad sociocultural que compone a nuestro mundo.
Chat GPT y sesgos idiomáticos
Los sesgos en los modelos de IA pueden presentarse en diversas formas: sesgos de género, raciales, culturales, idiomáticos entre otros. Estos existen también en nuestra realidad física cotidiano y se exacerban o profundizan – o están más explícitamente visibles- en estos modelos. La creación y desarrollo de estos sistemas mayoritariamente está a cargo de hombres blancos burgueses estadounidenses que han llegado a ocupar cargos de relevancia en el sector CTIM. Estos sesgos, afectan la calidad del producto y tienen repercusiones negativas en la opinión pública que pueden condicionar su posicionamiento en el mercado.
En el caso particular de este trabajo queremos centrarnos en el sesgo idiomático y la dificultad que puede generar este aspecto al momento de proyectar la expansión y masificación a lo largo y ancho del planeta de dicho producto.
Algunos aspectos relevantes para poder abordar el sesgo idiomático según estudios que se hicieron sobre este tema son: las limitaciones que existen al momento de entrenar el algoritmo del Chat GPT que mayormente provienen de fuentes en inglés, la falta de adaptación y reconocimiento de diversidades culturales también relacionado con la cuestión lingüística en países que no son angloparlantes, la implementación de este producto en países que no tienen el inglés como lengua madre necesitan inversión extra de recursos para lograr adaptarlo lo que genera una dificultad mayor de la masificación de su uso y producción. Todas estas situaciones generan que los usuarios en países no anglosajones no confíen plenamente en el producto y esta situación pueda afectar la inserción del mismo en el mercado de esas naciones. Y por supuesto, un impacto en la falta de representación de la diversidad cultural.
La posibilidad de mejorar el rendimiento del producto y de acotar este sesgo, implicaría una inversión en la recopilación y curación de datos de entrenamiento en diversos idiomas y dialectos, lo que tendría un costo alto en términos económicos, éticos y de tiempo. La posibilidad de limitación de ciertos mercados ante la imposibilidad de lograr un modelo específico y efectivo hace que esta posibilidad se reduzca por no ser redituable. Esto podría significar un costo de adaptación adicional a lo planificado y generar costos adicionales para “Open IA”.
La hipótesis que presumimos es que el sesgo idiomático que existe en el desarrollo del Chat GPT podría ser la causa que imposibilita a este producto poder masivo y representativo a nivel global, ya que el costo de adaptación sería muy alto.
Para poder constatar o rechazar la hipótesis planteada nos preguntaremos:
¿Los sesgos existentes en la arquitectura de este modelo de inteligencia artificial generativa son eventuales impedimentos para que finalmente este producto se inserte en el mercado mundial de forma masiva?
¿Es necesario en la actualidad un producto como el “Chat GPT»?
¿Hay un reclamo por parte de la sociedad?
Análisis Sociotécnico
A lo largo de nuestra historia reciente muchos investigadores se han planteado diversas formas, métodos o combinaciones de conceptos en torno a la inteligencia artificial. Una definición genérica podría ser, que es la combinación de algoritmos planteados con el propósito de crear un software que presente capacidades similares al razonamiento del ser humano.
Russell y Norving , plantean de forma más específica cuatro formas de definir a la IA:
Comportamiento humano: el computador supera la prueba si un evaluador humano no es capaz de distinguir si las respuestas, a una serie de preguntas planteadas, son de una persona o no.
Pensar como un humano: para poder decir que un programa dado piensa como un humano, es necesario contar con un mecanismo para determinar cómo piensan los humanos. Si los datos de entrada/salida del programa y los tiempos de reacción son similares a los de un humano, existe la evidencia de que algunos de los mecanismos del programa se pueden comparar con los que utilizan los seres humanos.
Pensamiento racional: estudiosos de la lógica desarrollaron, en el siglo XIX, una notación precisa para definir sentencias sobre todo tipo de elementos del mundo y especificar relaciones entre ellos. La llamada tradición logista dentro del campo de la inteligencia artificial trata de construir sistemas inteligentes a partir de estos programas.
Actuar de forma racional: Un agente racional es aquel que actúa con la intención de alcanzar el mejor resultado o, cuando hay incertidumbre, el mejor resultado esperado. En el caso del enfoque de la IA según las «leyes del pensamiento», todo el énfasis se pone en hacer inferencias correctas.
En contraposición a esta definición dice Evgeny Morozov (2023) sobre la IA,
“El peligro de seguir usando el término “inteligencia artificial” es que se corre el riesgo de convencernos de que el mundo funciona con una lógica singular: la del racionalismo altamente cognitivo y de sangre fría. Muchos en Silicon Valley ya creen eso, y están ocupados reconstruyendo el mundo influidos por esa creencia.
Pero la razón por la cual las herramientas como Chat GPT pueden hacer cualquier cosa, incluso remotamente creativa, es porque sus conjuntos de entrenamiento fueron producidos por humanos realmente existentes, con sus emociones complejas, ansiedades y todo. Si queremos que esa creatividad persista, también deberíamos financiar la producción de arte, ficción e historia, no solo los centros de datos y el aprendizaje automático. Eso no es en absoluto hacia donde apuntan las cosas ahora. El riesgo final de no retirar términos como “inteligencia artificial” es que harán invisible el trabajo creativo de la inteligencia, mientras que el mundo será más predecible y tonto.”
Y en una sintonía más cercana a Morozov, el filósofo chino Yuk Hui (2023) dice:
““La inteligencia” que se encuentra en las máquinas hoy en día es una forma reflexiva de funcionamiento, como observa acertadamente Gotthard Günther y Gilbert Simondon. Para Günther, la cibernética es la realización de la lógica de Hegel, mientras que para Simondon, Kant recién se refirió a la cibernética en la elaboración del juicio reflexivo en la Crítica del juicio . El “pensamiento reflexivo” suele asociarse con los seres humanos y no con las máquinas, porque las máquinas sólo ejecutan instrucciones sin reflexionar sobre las instrucciones mismas. Pero desde la introducción de la cibernética en la década de 1940, el término también puede describir el mecanismo de retroalimentación de las máquinas. El pensamiento reflexivo en las máquinas tiene un poder asombroso sobre los seres humanos que no están preparados para aceptar su existencia, incluso como una forma preliminar y básica de reflexión, siendo puramente formal y, por lo tanto, insuficiente para tratar el contenido. Aquí podemos entender cómo ChatGPT puede ser “poco innovador” y “nada revolucionario” para científicos informáticos como Yann LeCun. Solo a través del manejo de contenidos las máquinas pueden avanzar hacia lo que se ha llamado la singularidad tecnológica”.
En base a las definiciones anteriores, y salvando las diferencias, podemos acordar que los modelos de IA, son plataformas que se desarrollan en torno a contexto: la propiedad, el gobierno, los usuarios, la tecnología, el contenido y los modelos de negocio; también es constructora de tecnocultura (Vanj Dik, J 2016). Y probablemente atribuirle tantas cualidades autónomas a la IA sea en realidad la exculpación para las mismas grandes empresas.
Analizando a los desarrollos de IA generativa desde una perspectiva sociotécnica, debemos considerar cómo estos desarrollos podrían perpetuar y profundizar las desigualdades preexistentes en la sociedad. Modelos como el Chat GPT, nuestro caso específico, deja en claro que sólo representa a un modelo cultural occidental y anglosajón; buscando reforzar la construcción de la narrativa hegemónica de quienes ponen real interés en este producto: las grandes empresas tecnológicas de Silicon Valley y el Estado que invierte y financia estos proyectos, en este caso Estados Unidos.
Para poder dar un marco claro a las diversas variables de este análisis sociotécnico, a continuación planteamos el mapeo de actores involucrados en este desarrollo:
Instituciones del sector privado, conformadas en particular por la empresa desarrolladora del modelo, Open IA y en general por el complejo de Silicon Valley, del cuál la empresa forma parte y comparte y contribuye al alcance de sus objetivos, misiones y valores.
Instituciones del sector público, el gobierno de Estados Unidos colaboró con el desarrollo del Chat GPT financiando investigaciones en IA que fueron y son fundamentales, a través de distintos organismos como la Fundación Nacional de Ciencia. Por otra parte se encuentran los distintos gobiernos de cada país con su incidencia a través de las normativas y legislaciones en relación a la IA, pudiendo afectar de forma positiva o negativa a estos tipos de desarrollo.
Academia, universidades de EE.UU. participaron de investigaciones en relación a IA que sirvieron para desarrollar el Chat GPT.
Organizaciones de la sociedad civil, hay distintas agrupaciones a lo largo y ancho de todo el mundo que estudian y trabajan el tema de la IA, en su mayoría abogando por desarrollos que sean más igualitarios y con la menor cantidad de sesgos posibles. Algunos de ellos son: Fundación Karisma en Colombia, Observatorio de Inteligencia Artificial en Argentina, Centro de Estudios de ciencia, tecnología y sociedad en México, Data y sociedad en Estados Unidos, entre otras.
Usuarios, las personas y las instituciones que utilizan Chat GPT, quienes finalmente son los que evidencian los sesgos y pueden manifestar su insatisfacción o satisfacción con el desarrollo.
Medios de comunicación, analizan e informan sobre este desarrollo creando un discurso sobre este, en la opinión pública.
Al analizar particularmente el sesgo idiomático, es crucial considerar cómo cada uno de estos actores tiene influencia en el desarrollo, su modificación y mejora, su uso, su alcance, su evaluación, su percepción social y su rentabilidad.
Desde su lanzamiento, este desarrollo fue usado en materia de educación, atención al cliente, creación de contenido audiovisual, hasta en la atención de pacientes, entre muchos otros usos. Por la presencia de estos sesgos, se genera una gran incertidumbre ante la posibilidad de que en realidad este desarrollo no sea una buena opción de reemplazo para las tareas que aún realizamos los seres humanos, ya que este sistema ignora sutilezas, pensamiento crítico y especificidades de cada cultura, entre otros.
La conceptualización anterior, y las diversas formas y modelos en los cuales se puede basar la IA, nos ayudará para abordar el estudio de nuestro caso: el sesgo idiomático en el Chat GPT y sus consecuencias en la masificación y rentabilidad del producto.
El análisis sociotécnico de este desarrollo se centra principalmente en las siguientes dimensiones:
Diversidad cultural: es importante saber que este desarrollo se da en un contexto en el que predominan ciertas perspectivas e intereses. Sabemos que en general quienes están a cargo de estos desarrollos son hombres, blancos, burgueses y anglosajones, y esto se convierte en un gran problema, porque probablemente se profundicen los sesgos y no haya una representación de la diversidad cultural que existe en nuestro planeta. El diseño LLM es anglocéntrico y pensar en diseñar e implementar un modelo multilingüe -sin recurrir al idioma inglés como intermediario- requiere un entrenamiento amplio en otros idiomas y dialectos.
Desigualdades socioculturales preexistentes: la sociedad en la cuál nos desarrollamos está plagada de desigualdades, y el Chat GPT no deja de estar inserto y ser creado por parte de esa misma sociedad. Por ej: el sector CTIM tiene un sesgo de género en dónde sólo el 27% de quienes lo componen son mujeres, por esta razón ya vamos a tener posiblemente una profundización del sesgo de género. O por ej. El desarrollo del cuál hablamos se pensó en Estados Unidos, por esta razón tendrá un sesgo por el idioma en el cuál fue creado y entrenado.
Usuarios: este modelo de IA generativa debe poder lograr la mejor interpretación posible de cualquier usuario que lo requiera en cualquier país de origen, si por los sesgos que existen esto no se logra, muy probablemente deje de ser usado. Para mejorar el modelo podría usarse una herramienta de retroalimentación con los usuarios, para lograr una mayor diversidad y representatividad.
Ética: debería existir una perspectiva ética dónde los desarrolladores contemplen la mayor diversidad posible y también breguen por una mayor igualdad y transparencia que colaboren a erradicar las desigualdades sociales de base.
Regulaciones y legislación: para lograr mitigar los sesgos que existen y garantizar la pluralidad cultural e idiomática, se necesita un marco regulatorio por parte de los Estados Nación o de la comunidad internacional. Si esto no se cumpliera por parte de Open IA sería una pérdida importante. Actualmente estos desarrollos en su mayoría se rigen por normativas internas de las empresas que los producen y que se rigen por sus intereses mayoritariamente económicos.
Económica: en el momento de decidir ampliar la diversidad cultural e idiomática de entrenamiento del desarrollo, esta variable aparece, y la empresa debe evaluar si realmente es rentable hacerlo o si efectivamente deciden acotar el desarrollo solamente para un público anglosajón.
Podemos, como dice Britta Schneider (2022), señalar que el primer error sociotécnico es pensar que las comunidades que usan estos sistemas, comprenden estas lenguas.
Los algoritmos están construidos y enmarcados dentro de un lenguaje y ese lenguaje se encuentra dentro de los “discursos ideológicos» de los programadores que están a cargo de crearlos. En el caso del Chat GPT el idioma que domina y determina la cultura y el interés de este producto, en realidad de la empresa que lo desarrolla y a mayor escala de Silicon Valley, es el inglés. No sólo esto sucede con quienes lo desarrollan,sino que también con los usuarios aparecen los llamados bucles de retroalimentación ¿que significa este término? Como la IA se nutre principalmente del idioma inglés, esto hace que los usuarios tienden a adaptarse y usar este idioma y así la relación con los usuarios hacen que el sistema termine nutriéndose de este mismo idioma y reforzando este sesgo. En un mundo totalmente globalizado, multicultural y multipolar, se presentan estos modelos monolingües como neutrales, cuando no lo son. Este es uno de los principales problemas que presenta este modelo.
Este tipo de modelo necesita una gran cantidad de datos para poder ser construido por esta razón son las grandes empresas que tienen estos datos quienes los desarrollan.
“Esto implica que los datos del lenguaje que han sido digitalizados (por ejemplo, archivos de periódicos, corpus lingüísticos, Google Books), producidos en Internet(por ejemplo, Wikipedia o datos de redes sociales) o grabados por asistentes de voz se consideran representantes del lenguaje en general.En este sentido, los datos en lenguaje legible por máquina proporcionan normas, ya que se entienden como “uso normal”. Además, en virtud de las posibilidades de la informática, que normalmente funcionan según lógicas cuantitativas, lo que es frecuente en los datos tiene más probabilidades de reproducirse” (Schneider, B 2022)
La realidad es que más del 90% de los habitantes del mundo no se comunican en idioma inglés, y por está misma razón este desarrollo no es representativo ni del todo eficiente para estas personas, y solamente refuerza los privilegios de la porción representada, no sólo en términos idiomáticos, sino también culturales, de género, de clase, entre otros.
“Se observa una tendencia a marginar lo que ya está marginado debido a la desigual disponibilidad de corpus web, así como a los sesgos que se encuentran en los tipos específicos de datos. Esta tendencia se refuerza a través de los mecanismos de los algoritmos de aprendizaje automático” (Schneider, B 2022)
En relación a otra de las aristas relevantes en la construcción de estos modelos de IA, un informe del Consejo de Europa cuestiona la IA en la educación en términos de sus riesgos para los derechos humanos, la democracia y el estado de derecho (Williamson, 2023).
La idea de pensar al Chat GPT como un “modelo de lenguaje humano”, genera grandes expectativas en los usuarios que puede verse frustrada producto del sesgo cultural que existe en el entrenamiento de estos modelos algorítmicos, el machine learning. Este desarrollo se hace en base a grandes conjuntos de datos extraídos de internet y curados por desarrolladores e investigadores, desde la perspectiva de la empresa que desarrolla el producto, mayoritariamente de hombres, blancos estadounidenses.
Por otra parte, la subrepresentación de culturas, idiomas y dialectos en la base de datos de la cuál se nutre este sistema, hace que no tenga la misma eficiencia a lo largo y ancho del mundo. Y por esta razón se ven frustradas las expectativas de muchos usuarios, representando esto un problema sociotécnico, ya que en este caso, Open IA no está logrando satisfacer las necesidades de muchos de ellos, por no tener la capacidad de entrenar el modelo en base a todos los idiomas y dialectos que existen en el mundo, probablemente por un impedimento económico. El mercado es amplio, pero poder llegar a cubrir las necesidades de todos de una forma excelente, es momentáneamente dificultoso.
Conclusión
Mientras exploramos todo el abanico de oportunidades que representa el desarrollo del Chat GPT, vemos también el impacto social que puede tener este tipo de modelos. Los sesgos que existen en este tipo de modelos exacerban las desigualdades que ya existen en nuestra sociedad.
Estos modelos, son meros reproductores de lo que quieren transmitir sus creadores, y como podemos ver, Silicon Valley representa e impone sus intereses económicos y de poder en todos sus desarrollos, y el Chat GPT no es más ni menos que eso.
Vemos también que los mismos sesgos que quieren profundizar e imponer para generar un pensamiento hegemónico, son también su propio “tendón de Aquiles”. Ya que por consecuencia de los mismos, como por ej. lo es el sesgo idiomático, pierden la posibilidad de poder llegar a todo el mundo de la misma forma y generar un consenso en relación a su eficiencia y utilidad.
Si la empresa Open IA quiere lograr un mejor y más eficiente desarrollo de este modelo, debe abordar este problema desde un enfoque sociotécnico. Desde la parte de la sociedad y los Estados, debemos plantearnos y plantearle las modificaciones necesarias, como así también las exigencias de transparencia que merecemos como usuarios, y por qué no, parte desarrolladora de este producto.
