L'enquête, annoncée en avril, conteste la réponse de la société à des cas spécifiques de contenu pour adultes deepfake, incluant un qui a affecté une personnalité publique américaine et un autre une personnalité publique indienne.
L'utilisation de la technologie d'IA générative pour créer du contenu pour adultes deepfake a considérablement augmenté ces derniers mois, affectant des figures connues telles que Taylor Swift, des élèves de lycée aux États-Unis et des femmes à travers le monde.
Ces outils, qui sont largement accessibles, ont facilité la production rapide, économique et simple de ce type d'images. Et les plateformes, telles qu'Instagram, Facebook et WhatsApp, ont subi une pression accrue pour prendre des mesures plus efficaces contre ce type d'abus en ligne.
Cas particuliers et réponse de Meta
Dans le cas de la personnalité publique américaine, Meta a agi immédiatement en supprimant l'image générée par l'IA qui la montrait nue et étant touchée. Cette action a été possible parce que l'image avait été ajoutée précédemment à une base de données de correspondance de photos qui détecte automatiquement les images enfreignant les règles communautaires.
Cependant, dans le cas de la personnalité publique indienne, la société n'a pas retiré l'image d'Instagram jusqu'à ce que le Conseil de Surveillance intervienne, bien que le contenu ait été signalé à deux reprises.
Le rapport du Conseil de Surveillance critique l'incohérence dans l'application des règles de Meta concernant les images sexuelles non consenties.
“Meta a déterminé que sa décision initiale de laisser le contenu sur Instagram était une erreur et l'entreprise a supprimé la publication pour avoir violé la Norme Communautaire contre le Harcèlement et l'Intimidation. Par la suite, après avoir commencé nos délibérations, Meta a désactivé le compte ayant publié le contenu”, mentionne le rapport.
Le rapport souligne également des problèmes continus dans la modération du contenu par l'entreprise dans des pays non occidentaux ou non anglophones, un domaine dans lequel la société a déjà reçu des critiques.
La réponse de Meta et recommandations du Conseil
Meta, de son côté, a accueilli la décision du Conseil. L'entreprise a déclaré que, bien que les publications spécifiques identifiées dans le rapport aient déjà été supprimées, elles prendront des mesures concernant des images similaires dans le même contexte lorsque cela sera techniquement possible.
Le Conseil de Surveillance, un organisme quasi-indépendant composé d'experts en liberté d'expression et en droits humains, a émis plusieurs recommandations supplémentaires pour que la société améliore ses efforts dans la lutte contre les deepfakes sexualisés.
Ils ont exhorté l'entreprise à clarifier ses règles en mettant à jour son interdiction contre le “photoshop sexualisé dégradant” pour y inclure explicitement le terme “non consensuel” et couvrir clairement d'autres techniques de manipulation photographique, comme l'IA.
Meta a expliqué au Conseil qu'elle n'avait pas initialement ajouté l'image de la personnalité publique indienne à sa base de données de correspondance de photos qui enfreignent les règles parce qu'il n'y avait pas d'articles de presse sur le sujet, contrairement au cas de la personnalité américaine.
“C'est préoccupant, car de nombreuses victimes d'images intimes deepfake ne sont pas sous le feu des projecteurs et doivent subir la diffusion de leurs représentations non consensuelles ou chercher et signaler chaque instance”, a déclaré le Conseil, suggérant que Meta pourrait prendre en compte d'autres facteurs, tels que si une image a été générée par IA, lors de la décision de l'ajouter à la base de données.
La lutte contre les deepfakes non consentis n'est qu'une partie des efforts plus larges de Meta pour prévenir l'exploitation sexuelle de ses utilisateurs. L'entreprise a récemment annoncé la suppression d'environ 63 000 comptes au Nigeria impliqués dans des escroqueries de sextorsion financière, où des personnes, souvent des adolescents, sont trompées pour envoyer des images nues puis extorquées.
Nouveau