Ce n’était pas seulement un bavardage en ligne de routine. Le maire d’une ville du Midwest américain semblait être sous la menace physique imminente d’extrémistes d’extrême droite et les autorités fédérales devaient être alertées. Il s’agit d’un appel que les chercheurs d’une entreprise israélienne ont dû faire récemment dans le cadre de leur travail continu de surveillance et de détection des contenus préjudiciables et/ou illégaux sur Internet, tels que les discours de haine, la maltraitance des enfants, les réseaux de fraude et les campagnes de désinformation.
C’était un appel parmi plusieurs. La découverte d’un réseau de trafic d’enfants dans un coin d’Internet a déclenché une autre alerte urgente, cette fois aux autorités israéliennes. À Singapour, la police a été appelée lorsque les chercheurs ont découvert une menace crédible d’attaque contre une synagogue locale. Et aux États-Unis, où les fusillades dans les écoles sont une épidémie nationale, de telles menaces peuvent sévir.
Les chercheurs travaillent pour ActiveFence, une société israélienne qui a construit une plate-forme basée sur l’intelligence artificielle pour découvrir et signaler de manière proactive les contenus et activités malveillants « à grande échelle » dans le monde entier.
La plate-forme collecte des millions de sources de données sur Internet, a déclaré Nitzan Tamari, directeur de la stratégie de l’entreprise, y compris le Web de surface universellement accessible (ou Web ouvert), le Web profond, un collectif caché de sites et de contenus qui n’est pas indexé par les moteurs de recherche standard et le dark web, un hub où les utilisateurs restent anonymes et protégés de la surveillance et du suivi, mais où les activités, les contenus et le commerce illégaux peuvent prospérer.
« Tout cela fait partie du service. Nous allons là où de mauvais acteurs discutent et s’organisent », a déclaré Tamari au La Lettre Sépharade cet été.
Les informations sont rassemblées dans la «base de données du mal» de l’entreprise où elles passent ensuite par un processus de vérification et d’analyse des risques afin que les clients puissent rester au courant des pratiques de «confiance et de sécurité» pour se protéger et protéger leurs utilisateurs.
Chasse aux contenus malveillants
Fondée en 2018, ActiveFence est sortie du mode furtif l’été dernier, annonçant un investissement de 100 millions de dollars avec des bailleurs de fonds tels que la société d’investissement en phase de croissance Highland Europe et la société israélienne de capital-risque Grove Ventures pour renforcer davantage ses outils et sa clientèle.
La société emploie environ 240 personnes sur 10 sites, notamment à New York, Ramat Gan, juste à l’extérieur de Tel Aviv, et la ville israélienne centrale de Binyamina. Ses équipes sont composées de professionnels de la sécurité, de data scientists, d’experts R&D et cybersécurité et de chercheurs OSINT (open-source intelligence).
ActiveFence a refusé de nommer certains de ses clients, mais il ne travaille pas seulement avec les suspects habituels – les sociétés de médias sociaux avec des dossiers existants et problématiques sur la résolution de problèmes tels que le discours de haine, le déni de l’Holocauste, la cyberintimidation, la désinformation, le contenu de l’extrémisme et pire encore. Il travaille également avec des agences gouvernementales, des sociétés de streaming audio et vidéo, des sociétés de jeux et des marchés en ligne pour aider à éliminer ces « mauvais acteurs ».
Il existe tout un écosystème d’entreprises et d’entités qui « ne penseraient pas avoir besoin de surveiller le contenu, mais elles le font absolument », a déclaré Tamari, citant en exemple la prolifération de balises liées à la théorie du complot d’extrême droite QAnon sur la plateforme de fitness. Peléton l’année dernière. La théorie du complot là-bas prétend sans fondement que l’ancien président américain Donald Trump combat secrètement un groupe ténébreux de puissants pédophiles démocrates (et reviendrait bientôt au bureau présidentiel malgré la perte des élections de 2020).
Beaucoup de ces communautés, a partagé Tamari, « fonctionnent en code et utilisent un langage qui ne [fellow] les députés comprendraient. Ce langage peut être si sauvage qu’une personne « normale » ne serait même pas capable de le comprendre ou de le suivre, cela demande de l’expertise.
Ces communautés sont « très organisées et savent comment contourner et manipuler les règles sur différentes plates-formes », souvent en « poussant les unes les autres sur ces plates-formes pour recruter de nouveaux ‘utilisateurs’ », a-t-elle expliqué.
Au cours des deux dernières années, QAnon et d’autres contenus d’extrême droite ont été « partout », tout comme la désinformation sur le vaccin COVID-19, les allégations de fraude au coronavirus et la désinformation électorale américaine, a déclaré Tamari. « Mais tout change très vite. Il y a aussi beaucoup de contenu lié au terrorisme, des sermons jusqu’aux décapitations. Aussi la maltraitance endémique des enfants, de l’imagerie au trafic, la glorification des troubles de l’alimentation, l’intimidation, etc.
Les systèmes existants qui reposent sur la classification du contenu, les rapports d’utilisateurs et la modération font souvent défaut, comme l’ont souligné de manière experte une série d’articles d’enquête en 2019 qui ont plongé profondément dans les opérations de modération de contenu de Facebook.
Ces pratiques peuvent laisser les entreprises et les organisations dans une position réactive. « Nous adoptons une approche beaucoup plus proactive vis-à-vis de ce contenu. Et nous utilisons ces informations pour avoir une longueur d’avance », a déclaré Tamari.
La technologie permet aux entreprises « d’agir avant qu’il n’y ait de viralité, avant que le contenu préjudiciable ne devienne viral et avant [these companies] avoir des problèmes. » Il le fait également dans différentes langues, dialectes et régions, en tenant compte des nuances culturelles et du contexte géopolitique, ce qui nécessite une expertise en la matière, a déclaré la société israélienne. L’une des critiques les plus poignantes adressées à Facebook – encore une fois – est l’accent mis sur le contenu en anglais, laissant de graves lacunes dans la surveillance et la modération de l’incitation et d’autres contenus préjudiciables dans d’autres langues.
Cependant, la société ne surveille pas les communications cryptées (comme WhatsApp ou Telegram).
«Lorsque de mauvais acteurs abusent des plateformes en ligne, ils le font généralement dans le but de gagner en influence, en soutien ou en valeur monétaire. Ces acteurs choisiront généralement les sources de bavardage qui peuvent être facilement accessibles par leurs victimes ou leurs partisans », a déclaré Daniel Morgan, membre de l’équipe de Tamar chez ActiveFence.
Whack-a-mole est un terme de l’industrie
Les solutions d’ActiveFence « s’appuient sur » les systèmes existants mis en place par les équipes de sécurité internes pour assurer la sécurité et l’intégrité des interactions en ligne, a déclaré Tamari. « Nous pouvons fournir un flux de contenu qui viole les politiques d’une organisation donnée, par exemple. Chaque plateforme a son propre ADN, ses propres philosophies et nous connaissons les différents standards.
Les différentes équipes de recherche de l’entreprise peuvent également fournir à leurs clients des rapports ou des analyses spécifiques sur différentes problématiques. Des documents de recherche complets sur des sujets tels que la façon dont les enfants sont soignés dans les communautés de troubles de l’alimentation en ligne et la façon dont les acteurs de la menace accèdent aux comptes de jeu et en abusent pour commettre des fraudes, sont mis à la disposition du public sur le site Web de l’entreprise.
L’idée, a déclaré Tamari, est de fournir aux clients la possibilité de réagir de manière appropriée aux contenus malveillants sur leurs plates-formes, « et non de résoudre » le problème. Lorsqu’on leur a demandé s’ils avaient souvent l’impression de jouer à un jeu de taupe essayant de découvrir ce contenu, Tamari a répondu qu’il s’agissait d’un terme courant dans l’industrie.
Les acteurs de la menace, comme les appelle ActiveFence, agissent avec une sophistication alarmante et croissante pour échapper à la détection et s’adapter rapidement aux nouvelles règles. « Dans une certaine mesure, nous sommes toujours surpris au quotidien par ce que nous voyons – qu’il s’agisse d’un contenu et d’un sujet licites mais horribles, de nouvelles tendances adoptées par des acteurs clandestins, de la technologie utilisée, etc. », a déclaré Morgan.
« Ils changent constamment, adaptent leurs tactiques et adoptent de nouvelles méthodes et technologies pour essayer d’échapper à certaines des défenses les plus robustes que les plates-formes ont en place, et il est donc impératif d’apprendre en permanence, de former nos systèmes et de toujours garder une longueur d’avance », a-t-il ajouté.
Tamari a déclaré qu’il y avait également une quantité surprenante d’argent et d’organisations impliquées dans la promotion d’innombrables théories du complot et de fausses campagnes de nouvelles, a noté Tamari. « Ce ne sont pas que des tantes folles. »
«Nous voyons comment la désinformation se développe et quels acteurs travaillent sur toutes les plateformes. C’est tout un écosystème », a-t-elle déclaré.
La majorité du travail d’ActiveFence consiste à découvrir des contenus préjudiciables qui ne sont pas nécessairement illégaux et à les signaler aux plateformes elles-mêmes pour qu’elles les gèrent conformément à leurs politiques, a expliqué Morgan.
Mais parfois, la découverte du contenu nécessite une action urgente. « Quand et si nous découvrons un contenu qui constitue une menace directe immédiate et grave pour le public – et en particulier pour les enfants – ou viole explicitement les lois de juridictions particulières, nous le signalons directement aux autorités compétentes », comme les cas avec le maire américain et le réseau de trafic d’enfants, a déclaré Morgan.
ActiveFence dit qu’il opère dans un espace nouveau et très dynamique avec des concurrents adjacents tels que des organisations non gouvernementales axées sur la mission et des centres d’activistes, mais « aucun n’est pionnier dans la manière proactive » dont il opère.
« Tout le monde ici est très axé sur la mission », a déclaré Tamari.
