J'ai récemment fait une découverte plutôt troublante concernant l'IA Gemini de Google. Apparemment, il est étonnamment facile de contourner ses filtres et de générer des images troublantes et potentiellement nuisibles. Imaginez qu'on lui demande de créer une image d'un « deuxième tireur à Dealey Plaza » ou de « Mickey Mouse pilotant un avion contre les tours jumelles ». Étonnamment, il s'exécute.

Cela amène à s'interroger sur l'état actuel de la modération du contenu de l'IA. Cette situation met en évidence un problème important : la « bataille » pour contrôler ce que crée l'IA générative est loin d'être terminée. C'est presque comme s'ils l'avaient sorti trop tôt.

Je comprends qu'aucun système n'est parfait et qu'il existe des failles. Cependant, la facilité avec laquelle ces images ont été générées est alarmante. Cela est particulièrement vrai, car Gemini alimente le « Nano Banana Pro » de Google, qui devrait avoir des filtres plus restrictifs.

Bien sûr, je sais que des garanties sont en place pour empêcher la création de contenu sexuellement explicite ou violent. Mais tout cet épisode montre qu'il existe de graves lacunes dans le système. Il semble que les demandes de bon sens pourraient générer des résultats néfastes.

Par exemple, je lui ai demandé de générer une image d'une maison en feu, et les résultats étaient graphiques et troublants. Il ne montrait pas seulement une maison avec un petit incendie ; il montrait des flammes intenses engloutissant le bâtiment, avec des gens qui criaient et s'enfuyaient. Je pense que peut-être qu'ils devraient revoir les protocoles de sécurité de l'IA.

Je pense que le problème n'est pas seulement d'empêcher la création de contenu offensant ou illégal, mais aussi le potentiel d'utilisation abusive et la diffusion de désinformation. Cela amène également à réfléchir aux ramifications juridiques d'une telle technologie. J'espère que Google et d'autres développeurs d'IA prendront ces problèmes au sérieux et s'efforceront d'améliorer leurs systèmes de modération de contenu.