Dos estudiantes de la maestría en Ciencias de la Computación de un centro de investigación del Consejo Nacional de Humanismo, Ciencias y Tecnologías (CONHACYT) en Baja California, desarrollan un diseño de algoritmos capaz de revelar violencia y sexismo en redes sociales a partir del análisis de textos e imágenes, usando técnicas avanzadas de Inteligencia Artificial (IA).
4 Vientos
Contenido violento, sexual, falso, discriminatorio, que incita al odio, que atenta contra la integridad de la niñez y, en general, que incumple las políticas de las plataformas de redes sociales, es distribuido diariamente y expuesto ante comunidades digitales cada vez más jóvenes (Imagen: Istock).
Se trata de Esteban Ponce León y Martha Paola Jiménez Martínez, egresado y estudiante –respectivamente- de la maestría en Ciencias de la Computación del Centro de Investigación Científica y de Educación Superior de Ensenada (CICESE).
“Se están dando pasos importantes. Lo relevante es que hay mucho interés de grupos de investigación en seguir trabajando en el área, incluso de estudiantes que se meten a este tipo de proyecto”, manifestó el doctor Irvin Hussein López Nava, investigador por México adscrito al CICESE y codirector de las investigaciones hechas por Ponce y Jiménez.
Y agregó que mientras exista este interés “se irá avanzando (en el tema) poco a poco”.
El científico, en un comunicado del medio digital Todos@Cicese, recordó que actualmente no existen herramientas para detectar contenidos violentos en tiempo real en redes sociales, sino que se detectan ya que fueron publicados.
“En ocasiones pasan horas antes de que el contenido nocivo se elimine”, afirmó.
Por ello, con el fin de contribuir al desarrollo de tecnologías de detección automática de mayor precisión, se integró un grupo de investigación del Departamento de Ciencias de la Computación del CICESE liderado por López Nava.
Para lograr su objetivo, el equipo bajacaliforniano trabaja en la combinación de técnicas de aprendizaje automático y procesamiento de lenguaje natural.
El grupo de investigación del Departamento de Ciencias de la Computación del CICESE liderado por López Nava (Imágenes: cortesía Hussein López).
Así surgió el maestro Esteban Ponce, quien ante la necesidad no cubierta e incentivado por el evento IberLEF, una campaña de evaluación de sistemas de procesamiento de lenguaje natural que se organiza a partir de tareas específicas participó en la competencia “DA-VINCIS” durante su etapa como estudiante del posgrado.
La competición se dividió en dos tareas. La primera consistió en diseñar algoritmos para detectar eventos violentos por medio del análisis de textos de redes sociales, y en la segunda los algoritmos debían ser capaces de clasificar el tipo de violencia detectada: robo, secuestro y otros.
En la primera tarea el bajacaliforniano logró el segundo lugar y en la segunda obtuvo el primer lugar, resultados que hoy se reflejan en su tesis de maestría titulada “Detección de eventos violentos en publicaciones de redes sociales”.
De acuerdo con el doctor López Nava, el objetivo de la investigación de Esteban fue diseñar un método para clasificar publicaciones de eventos violentos en la plataforma “X”, antes Twitter, combinando texto e imágenes y aplicando técnicas de aumento de datos.
El especialista explicó que uno de los principales retos fue que en los métodos de detección usando lenguaje natural y aprendizaje de máquina, técnicas de IA, intervienen aspectos subjetivos en el uso del idioma que pueden confundir al algoritmo.
“Por ejemplo, alguien puede decir ‘este partido de fútbol fue un robo total’, y si se programó un algoritmo para identificar la palabra ‘robo’ la va a detectar como evento violento cuando no es así, entonces importa mucho el contexto”.
Para sortear este reto, agregó Hussein en el órgano de divulgación del CICESE, se usaron modelos de aprendizaje profundo que, alimentados con un gran volumen de datos, llegaron a ser capaces de analizar el contexto de las palabras y ser más precisos al clasificar.
Discurso de odio en redes sociales (Imagen: Elena Colombie / Cartoononig for Peace).
Fue entonces que se lidió con la segunda fase de la investigación: “enseñarle a una máquina” qué es sexismo.
Es Paola Jiménez quien enfrentó el reto y de él realiza su tesis sobre detección automática de sexismo en redes sociales.
El trabajo también es codirigido por Hussein López y se unió el doctor Manuel Montes, investigador del Instituto Nacional de Astrofísica Óptica y Electrónica (INAOE).
Para impulsar este proyecto el equipo también participó en una competencia internacional, denominada “EXIST”, que se centra en identificar y clasificar sexismo en texto e imágenes de publicaciones de la plataforma “X”, y obtuvieron el primer lugar en la categoría de “memes”.
El doctor López Nava informó que antes de automatizar la detección de sexismo en textos de publicaciones de Twitter, Martha Paola estudió las subjetividades que existen alrededor de este concepto y cómo varía de acuerdo a la edad y el género de los usuarios.
El especialista consideró que el reto se puede sortear si se cuenta con un volumen significativo de ejemplos para entrenar a la máquina, así como agregar el análisis del contexto en el que el sexismo se está dando.
Aun con los avances obtenidos, el investigador reconoció que “todavía falta camino por recorrer para lograr una detección completamente automatizada, pero competencias como DA-VINCIS y EXIST buscan dar un impulso en el desarrollo de estas tecnologías”.