AIを悪用した数百万件もの被害が報告されているにもかかわらず、「Grok」を開発するxAIは、より強力な新しいAIツールの展開を止めていない。米国時間2月1日、xAIは動画生成AIモデルの新バージョン「Grok Imagine 1.0」をSNS「X」で発表した。
この新モデルは、OpenAIの「Sora」やGoogleの「Veo 3」といった競合モデルと同様に、音声付きの最大10秒の動画（720p）を生成できる。xAIによると、Imagineは過去30日間で12億本以上の動画を生成したという。
Grok人気の背景には、制御不能なAIの危険性を露呈する暗い側面がある。2025年12月末から2026年1月初旬にかけて、多くのXユーザーがGrokに対し、他のユーザーがXに投稿した写真（主に女性）を脱衣させる画像の生成を指示した。自撮り写真やグループでの外出といった何気ない写真を投稿した誰もが、自身の意図に反して嫌がらせの標的になる可能性があった。
他のAIモデルでは脱衣させるような要求は許可されていないが、Grokでは可能だ。その「spicy（スパイシー）」モードでは、暗示的で刺激的な画像を作成できてしまう。しかし、実際に起きたことはそれをはるかに超えるものだった。フィルタリングされず公開された、画像による性的虐待だったのである。
The New York Timesの報道によると、Grokは1月の9日間で180万件の性的ディープフェイク画像を生成しており、これはGrokが作成した全画像の41%を占めていた。また、デジタルヘイト対策センター（CCDH）による別の調査では、Grokは11日間でおよそ300万件の性的画像を作成し、そのうち2万3000件は子供を含むディープフェイクポルノ画像だったと推定されている。
スキャンダルの渦中にあった1月6日、Xの製品責任者であるNikita Bier氏は、Xが史上最高のエンゲージメントを記録していると投稿した（同氏はこのエンゲージメントを特定の要因によるものとはしていない）。
Xは1月8日の投稿で、同社は画像生成および編集機能を有料プランに限定すると述べた。同14日には、虐待的な性的コンテンツの生成を防ぐためのガードレールを改善したと発表した。
しかし、それらのガードレールが十分でないことは、すぐさま報道によって明らかになった。Grokの画像生成機能は、ウェブサイトを通じて今も無料で利用できる。そして今、Imagine 1.0が公開され、Grokの動画生成能力が大幅に強化されたことで、性的AI画像に非難が集まる中、コンテンツモデレーションに関する疑問の声が高まっている。
米カリフォルニア州司法長官と英国政府は、xAIへの調査を開始した。インドネシアとマレーシアはXアプリをブロックしている。また、3人の米上院議員と擁護団体は、利用規約違反を理由にAppleとGoogleに対しアプリストアからXを削除するよう求めている。
xAIはコメントの依頼に対し、すぐには回答しなかった。
米国では2025年、同意のない親密な画像やディープフェイクの共有を犯罪とするTAKE IT DOWN法が成立した。しかし、各プラットフォームが画像を削除するプロセスを構築する期限は2026年5月となっており、現在のXユーザーの救済にはつながっていない。
この記事は海外Ziff Davis発の記事を4Xが日本向けに編集したものです。
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています。
