悪意ある者たちが、ジェネレーティブAI音楽ツールを濫用して、同性愛者、人種差別、プロパガンダ的な歌を作成し、他の人にその方法を指南しています。
オンラインプラットフォームにおける信頼と安全性のオペレーションを管理するサービスであるActiveFenceによると、3月以降、「憎悪に関連する」コミュニティ内で、少数派グループを標的にした攻撃的な歌を作成するためにAI音楽作成ツールを悪用する方法について話題が急増しています。ActiveFenceの研究者によると、これらのコミュニティやディスカッションボードで共有されているAI生成の曲は、民族、性別、人種、宗教的集団に対する憎悪を煽り、殉教、自傷行為、テロを称えています。
憎悪的で有害な歌は、新しい現象ではありません。しかし、使いやすい無料の音楽生成ツールが登場したことで、これまで手段やノウハウを持たなかった人々によって大量に作成される可能性があります。AI音楽生成ツールは、ディスインフォメーション、ディスインフォメーション、および憎悪を広めるのを急速に促進してきた画像、声、ビデオおよびテキスト生成器と同様に。
ActiveFenceの共同設立者兼CEOであるノアム・シュワルツは、TechCrunchとのインタビューで、「これらの曲を生成し、他の人と共有する方法を学ぶユーザーが増えているため、これらの傾向が強まっている。脅威行為者は、これらのプラットフォームをさまざまな方法で悪用し、悪意あるコンテンツを生成する特定の脆弱性を迅速に特定しています。」と語りました。
「憎悪」の歌を作成する
UdioやSunoなどのジェネレーティブAI音楽ツールを使用すると、ユーザーは生成された曲にカスタムの歌詞を追加できます。プラットフォーム上のセーフガードは一般的な差別用語や軽蔑的な言葉をフィルタリングしますが、ActiveFenceによると、ユーザーは回避策を見つけ出しています。
レポートで引用されている例の1つでは、白人至上主義フォーラムのユーザーが、「ユダヤ人」の代わりに「jooz」、「サタン」の代わりに「se tan」といった少数派や攻撃的な用語の音声的な綴りを共有し、コンテンツフィルターをバイパスしています。暴力行為に言及する際にスペースや綴りを変更することを提案するユーザーもいます。たとえば、「my rape」を「mire ape」に置き換えるなどです。
TechCrunchは、AI生成音楽を作成および共有するための人気のあるツールであるUdioとSunoでいくつかの回避策をテストしました。Sunoはすべてを通過させましたが、Udioは冒涜的な同音異義語の一部をブロックしましたが、すべてをブロックしませんでした。
TechCrunchによる電子メールでの取材に応じ、Udioのスポークスパーソンは、同社はプラットフォームを憎悪表現に使用することを禁止していると述べました。Sunoはコメントリクエストに応じませんでした。
調査されたコミュニティで、ActiveFenceは、ユダヤ人に関する陰謀論を反復し、彼らの大量虐殺を提唱するAI生成の曲を含むリンク、ISISやアルカイダといったテロリストグループに関連するスローガンを含む曲、女性に対する性暴力を賞賛する曲を見つけました。
歌の影響
シュワルツは、テキストと違って、歌は感情的な重みを持ち、憎悪グループや政治的戦争にとって強力な力となると主張しています。彼は、’70年代後半から80年代初頭にかけて英国で開催された白人至上主義ロックコンサートシリーズであるRock Against Communismを挙げて、反ユダヤ主義や人種差別の「ヘイトコア」音楽のサブジャンル全体を生み出したと指摘しました。
「AIは有害なコンテンツを魅力的にする — 特定の集団について有害なナラティブを説き、誰もが簡単に歌い覚えられるライミングソングを作成したと想像してください」と彼は言いました。「これらの歌はグループの連帯を強化し、周辺のグループメンバーに洗脳を行い、無関係なインターネットユーザーをショックを与えるためにも使用されます。」
シュワルツは、音楽生成プラットフォームに予防ツールの導入とより広範な安全性評価の実施を求めています。「レッドチーミングは、脅威行為者の振る舞いをシミュレートすることによって、これらの脆弱性の一部を明らかにする可能性があり、ユーザーと共有される前にコンテンツをブロックすることで、プラットフォームが役立つかもしれません」とシュワルツは述べました。
しかし、ユーザーが新しいモデレーションをバイパスする方法を見つけると、修正は一時的なものとなる可能性があります。たとえば、ActiveFenceが特定したAI生成のテロプロパガンダ曲の一部は、アラビア語のユーフェミズムや転写を使用して作成されました — おそらく、フィルターがアラビア語での強さを見極めるのが苦手であるためです。
AI生成された憎悪的な音楽は、他のAI生成メディアの足跡をたどれば、広く広まる可能性があります。Wiredは、今年初めに、極右陰謀論インフルエンサーによって共有されたアドルフ・ヒトラーのAI操作されたクリップがXで1500万回以上視聴されたと報じています。
国連の諮問機関を含む専門家たちの間には、ジェネレーティブAIによって人種差別、反ユダヤ主義、イスラム恐怖症、およびキシングなどの内容が強化される可能性について懸念を表明しています。
シュワルツは、「ジェネレーティブAIサービスは、リソースや創造力、技術的スキルがないユーザーが参加を促し、グローバルなアイデアの市場で注意を引くコンテンツを作成し、広めることができる」と述べています。「脅威行為者は、これらの新しいサービスが提供する創造的な可能性を発見し、モデレーションをバイパスし、検出されないよう努めています — そして成功しています。」
