Organismos internacionales advierten que los Estados y las plataformas deben equilibrar la libertad de expresión con la moderación de contenidos que podrían ser considerados perjudiciales, en un contexto donde los algoritmos amplifican discursos de odio y reavivan el debate sobre su impacto en la salud mental y los derechos humanos.
A partir de un informe de Amnistía Internacional en el que señala que TikTok tiene características adictivas en su diseño y que podría dañar la salud mental en la infancia y la adolescencia, la Comisión Europea, a través de una investigación preliminar, llegó a la conclusión de que la plataforma vulnera la Ley de Servicios Digitales (DSA) por estas prácticas y exige cambios estructurales al diseño para proteger a usuarios, sobre todo a los menores de edad.
La investigadora Lisa Dittmer afirmó que si bien se trata de un reconocimiento tardío, es “bienvenido” y espera que se hagan cumplir las normas europeas para frenar este abuso.
El documento de Amnistía muestra cómo los algoritmos del feed “Para ti” de TikTok tienen contenidos que pueden estimular ansiedad, depresión y autolesiones en los usuarios más jóvenes, generando un impacto perjudicial, visible en la salud mental de los usuarios.
El enfoque del informe no se limita a redes sociales específicas sino que integra un cuestionamiento a la influencia que empresas tecnológicas tienen sobre la información y los derechos. Desde la ONU sugieren que las normas deben garantizar acceso a la información y proteger contra los discursos violentos o de odio, sin restringir derechos fundamentales.
Incitación a la violencia y discursos de odio
La “incitación a la violencia” como término figura en el Pacto Internacional de Derechos Civiles y Políticos. El artículo 20 prohíbe toda apología del odio nacional, racial o religioso que constituya incitación a actos discriminatorios, hostiles o violentos. Entre ellos, se puede incluir incitación a la violencia en cualquier comunicación que la fomente contra una persona o grupo. Esta incitación se puede visibilizar en diversos formatos, tales como los discursos y propaganda políticos, en medios de comunicación, publicaciones en redes sociales y productos de las artes visuales.
Por su parte, el secretario general de la ONU, António Guterres, destaca que los crímenes atroces no suelen tener lugar de manera repentina o espontánea. Los procesos que llevan a ellos necesitan tiempo para madurar, “un tiempo que deberíamos utilizar para actuar cuando observamos las señales de advertencia”, aclara.
Desde la ONU sostienen que un signo más habitual de reproducción de la violencia es la difusión de los discursos de odio, a través de mensajes en la vía pública, los medios de comunicación o las redes sociales. Estas últimas son vistas como espacios donde más se destila más hostilidad y se alienta a la población a desatar violencia contra comunidades concretas, aprovechando la posibilidad de la virtualidad y muchas veces utilizando esto como la única base identitaria.
En esa misma línea, las organizaciones internacionales sostienen que para tener respuestas efectivas y mitigar el impacto del discurso de odio en nuestras sociedades, se necesita supervisar y analizar este fenómeno. Insisten en que es preciso comprender mejor la dinámica del discurso de odio, incluidas las motivaciones de su difusión, lo que es especialmente importante en el contexto de una crisis acompañada de miedos.
Por otro lado, se destaca el rol que pueden tener las empresas y plataformas digitales en Internet. La ONU sostiene que deberían ser capaces de contrarrestar la propagación del discurso de odio en línea para cumplir con las legislaciones internacionales sobre derechos humanos. Si bien estas empresas de redes sociales han comenzado a informar de la cantidad de contenido marcado y eliminado de sus plataformas, su eficacia se ha puesto en tela de juicio, debido a la poca confianza en la detección automática de estos comportamientos. El debate sobre libertad de expresión y discurso de odio se puede abordar con una mayor transparencia de las políticas de la plataforma y la restricción a la incitación a la violencia.
En este sentido, las Naciones Unidas ven la necesidad de adaptarse a las innovaciones tecnológicas y estimular la realización de investigaciones sobre la relación del uso indebido de internet y las redes sociales como espacio de propagación de los discursos de odio, así como los factores que alientan a las personas a cometer actos de violencia.
Desde el Fondo de las Naciones Unidas para la Infancia (UNICEF) para los más jóvenes lanzaron la campaña #ElSilencioSeSienteHate, a través de este hashtag buscan frenar los discursos de odio que circulan en el mundo offline y online “y empoderar a las y los testigos de hateo para que se involucren, conozcan los impactos que tienen estas situaciones en la salud mental y cuenten con herramientas para intervenir y generar conciencia sobre el tema entre sus pares”, explican.
Actualmente, el papel de las redes sociales en la sociedad contemporánea no solo es comunicar sino también influir en la salud mental, la privacidad, el ejercicio de libertades y los procesos democráticos. Organizaciones como Amnistía Internacional y los organismos de la ONU están analizando cómo estos espacios digitales pueden convertirse en riesgos para los derechos humanos si no se construyen mecanismos regulatorios y de rendición de cuentas efectivos.