TikTok n’est pas étranger aux tendances antisémites, des adolescents prétendant être des victimes de l’Holocauste arrivant aux portes du paradis aux vidéos de filtres déformant le visage réglés sur « Hava Nagila ». Certains commentaires sur des publications par ou sur des Juifs font la lumière sur l’Holocauste ou disent qu’Hitler « en a raté un ».
Mais l’antisémitisme n’est qu’une forme d’extrémisme sur TikTok. Une nouvelle étude de l’Institute for Strategic Dialogue (ISD), un groupe de réflexion dédié à l’analyse et à la réponse à l’extrémisme, a trouvé du contenu produit à l’origine par ISIS, des vidéos de la fusillade de la mosquée de Christchurch en 2019 et de nombreuses références à la suprématie blanche.
Les politiques de TikTok indiquent clairement que le contenu extrémiste est interdit sur sa plateforme. Pourtant, en 16 jours, les analystes de l’ISD ont identifié plus de 1 000 vidéos au contenu extrémiste.
Toutes les plateformes de médias sociaux luttent contre l’extrémisme policier. Mais Ciaran O’Connor, l’auteur de l’étude ISD, a déclaré que l’interface unique de TikTok est plus difficile à contrôler que les autres plates-formes grâce à la suite d’outils d’édition de l’application qui permet une création de contenu plus créative.
Lors d’un appel téléphonique, O’Connor a déclaré que des symboles tels que la croix gammée ou Sonnenrad sont « le pain et le beurre » du contenu extrémiste. Mais les outils et le format de TikTok permettent aux créateurs d’utiliser des nuances et des références subtiles pour faire passer leur message, et parfois utiliser l’algorithme pour atteindre des milliers de nouveaux yeux.
Une vidéo, par exemple, utilisait une caricature de travailleurs d’une pizzeria parlant de l’impossibilité de faire six millions de pizzas dans quatre fours, une référence à la négation de l’Holocauste. Un mème populaire connu sous le nom de « Confused John Travolta » a également été coopté pour la négation de l’Holocauste, surfant sur la tendance à des dizaines de milliers de vues.
De grandes lacunes dans le maintien de l’ordre
Bien que TikTok ait des politiques strictes contre les contenus racistes ou extrémistes, certains termes essentiels, tels que « l’extrémisme », ne sont pas bien définis. L’étude conclut également que ces politiques sont mal appliquées ; les discours de haine interdits dans les directives communautaires de TikTok peuvent rester sur la plateforme sans se faire prendre.
Des interdictions étroitement définies permettent également aux créateurs extrémistes de contourner facilement les règles ; par exemple, les recherches pour « Hitler » sont bloquées, mais « H1tler » fonctionne.
L’étude de l’ISD a également révélé que les vidéos et les profils privés échappaient facilement aux interdictions. Certains profils extrémistes sont devenus privés après avoir attiré une large attention, revenant à un profil public une fois l’attention retombée. Les profils avec des noms d’utilisateur suprématistes blancs sont souvent privés, mais apparaissent toujours dans les résultats de recherche.
Les enjeux d’une plateforme créative
Les médias visuels ou le contenu créatif sont intrinsèquement très difficiles à contrôler car il est difficile d’indexer et de rechercher à grande échelle. Les vidéos et les images sont « un défi pour chaque plateforme de médias sociaux, pas seulement pour TikTok. C’est déjà le prochain champ de bataille pour beaucoup de ces trucs », a déclaré O’Connor.
O’Connor a expliqué que de nombreuses plateformes sont membres du Global Internet Forum to Counter Terror (GIFCT), qui aide les entreprises à travailler ensemble pour contrôler leur contenu, y compris une base de données de matériel visuel qui permet une identification et une suppression plus rapides du contenu.
O’Connor a déclaré que TikTok avait tenté de rejoindre le GIFCT il y a plusieurs années, mais n’avait pas encore été approuvé ; l’adhésion de la société est toujours en cours.
Cependant, même avec la prise en charge de GIFCT, le type de contenu visuel et créatif trouvé sur TikTok est toujours difficile à contrôler car les éléments peuvent avoir plusieurs significations et les vidéos utilisent une combinaison nuancée de visuels, de sons et de mèmes pour faire valoir leur point de vue.
Par exemple, la chanson « Hava Nagila » est utilisée positivement par des créateurs juifs ou d’autres célébrant la vie et la culture juives, mais l’étude de l’ISD a également révélé qu’elle était couramment utilisée dans des vidéos antisémites pour ridiculiser les Juifs.
« Il est difficile pour l’IA et les systèmes informés par l’IA de comprendre cela », a déclaré O’Connor.
Quelques publications virales font beaucoup de chemin
Les utilisateurs interagissent avec TikTok principalement via une « page pour vous » personnalisée, qui présente un contenu pertinent choisi de manière algorithmique qui varie d’une personne à l’autre. Les vidéos placées sur les pages « pour vous » des utilisateurs sont beaucoup plus susceptibles de devenir virales, gagnant des centaines de milliers, voire des millions de vues et de likes en quelques heures ou quelques jours.
TikTok est réputé méfiant à propos de son algorithme et ne facilite pas la recherche de tiers à grande échelle. Cela signifie que l’étude a dû être menée manuellement, les chercheurs recherchant et identifiant individuellement le contenu dans l’application sans passer par l’algorithme, recherchant activement le contenu extrémiste au lieu de faire défiler comme l’utilisateur moyen.
L’ISD a trouvé des vidéos extrémistes grâce à un mélange de recherches par mots-clés et ce que O’Connor a appelé « l’effet boule de neige », dans lequel les analystes ont suivi les listes d’abonnés et les commentaires des créateurs pour trouver d’autres créateurs extrémistes.
De nombreuses vidéos identifiées par les analystes de l’ISD n’ont été vues que quelques centaines, ce qui signifie qu’elles n’ont pas atteint un large public et n’ont probablement pas été diffusées sur les pages « pour vous » des utilisateurs. Cependant, certains l’ont fait, y compris une vidéo anti-asiatique avec deux millions de vues et une recréation de jeu vidéo de la vidéo d’Auschwitz, qui a eu 1,8 million de vues ; un seul TikTok extrémiste obtenant des millions de vues a un impact considérable.
« Les systèmes algorithmiques sous-jacents au produit de TikTok aident évidemment à promouvoir et à amplifier ce contenu auprès d’audiences qui ne l’auraient peut-être pas trouvé autrement », a conclu l’étude.
Avant la publication de la recherche, l’ISD a partagé ses conclusions avec TikTok, qui a depuis supprimé de nombreuses vidéos et comptes identifiés dans la recherche ; TikTok a également supprimé les vidéos identifiées par Forward. Mais O’Connor a dit que c’était insuffisant ; TikTok a besoin d’un outil d’application plus complet qui empêche la découverte de vidéos en premier lieu.
« Je pense que nous pouvons tous convenir qu’il n’appartient pas aux chercheurs tiers d’attraper le contenu de Christchurch ou d’ISIS », a-t-il déclaré.
