OpenAIは、最新の動画・音声生成モデル「Sora 2」の安全な展開を目的として、「Sora 2 System Card」を公開しました。このドキュメントでは、モデルの概要、学習データ、安全性確保のための多層的な対策（セーフティスタック）、具体的なリスク領域への取り組み、そして評価結果などが詳述されています。
1. Sora 2の概要
Sora 2は、OpenAIの最先端の動画・音声生成モデルです。初代Soraを基盤に、より正確な物理法則の再現、鮮明なリアリズム、同期された音声、向上した操作性（steerability）、そして幅広い表現スタイルといった、従来のビデオモデルでは困難だった新機能を実現しています。これにより、創造的でありながら現実世界の力学に基づいた動画生成が可能になります。Sora 2は、sora.com、新しいiOSアプリ「Sora」、そして将来的にはAPIを通じて提供される予定です。
2. モデルの学習データとフィルタリング
Sora 2は、他のOpenAIモデルと同様に、インターネットで公開されている情報、サードパーティから提供された情報、そしてユーザーや研究者が提供・生成した情報など、多様なデータセットで学習されています。データ処理パイプラインには、データの品質を維持し、潜在的なリスクを軽減するための厳格なフィルタリングが含まれています。また、未成年者を含む性的コンテンツなどの有害でデリケートなコンテンツの生成や使用を防ぐため、安全分類器が使用されています。
3. 安全性確保のための対策（セーフティスタック）
Sora 2の安全な展開のために、OpenAIはSora 1やDALL·E、GPT-4oの画像生成機能から得た知見を活かし、Sora 2特有の対策を加えた堅牢なセーフティスタックを構築しています。
- 多モーダルなモデレーション分類器:
- 入力（プロンプト）のブロック: テキストや画像の分類器がプロンプトをポリシー違反と判断した場合、ビデオの生成を未然に防ぎます。
- 出力のブロック: 入力ブロックを回避された場合に備え、生成されたビデオをスキャンし、ポリシーに違反するものをブロックします。これには、児童性的虐待コンテンツ（CSAM）分類器や、コンテンツポリシーについて推論するためにカスタムトレーニングされた多モーダル推論モデルが使用されます。
- 未成年者向けの追加保護:
- 18歳未満の可能性のあるユーザーに対しては、上記対策がより厳格に適用され、年齢に不適切な特定のカテゴリのコンテンツ作成が制限されます。13歳未満のユーザーはOpenAIの全サービスの利用が禁止されています。
4. 製品および利用ポリシー
モデル自体に組み込まれた保護機能に加え、Soraアプリの動画、コメント、プロフィール、メッセージ機能全体での悪用を減らすための追加措置が講じられています。 利用規約では以下の行為が禁止されています：
- 他人のプライバシー侵害（許可なく他人の肖像を使用することを含む）
- 他者を脅迫、嫌がらせ、中傷するコンテンツや、同意のない性的画像、暴力を扇動するコンテンツの作成
- なりすまし、詐欺、不正行為による他者の誤解を招く行為
- 未成年者を搾取、危険にさらし、性的に描写する方法での使用
違反を検知するため、アプリ内報告機能や、自動化と人間によるレビューを組み合わせた監視体制が敷かれています。
5. コンテンツの出所と透明性の確保
生成コンテンツの出所を明確にするため、以下のツールが導入されています：
- C2PAメタデータ: 業界標準に基づき、すべての生成アセットに検証可能な出所情報を付与します。
- 可視の動くウォーターマーク:
sora.comやSoraアプリからダウンロードされた動画に表示されます。 - 内部検出ツール: 動画や音声がOpenAIの製品で作成されたものかを判断するのに役立ちます。
6. 具体的なリスク領域と緩和策
レッドチームによるテストや評価を通じて、以下の特定のリスク領域への対策が強化されています。
- 有害・不適切な出力: 暴力、自傷行為、テロ、性的コンテンツなどに対し、ビデオフレーム、シーン記述、音声テキストをスキャンする自動検出システムで対応します。
- 肖像権の悪用と欺瞞的コンテンツ: ハイパーリアルなビデオ・音声生成に伴うリスクに対し、以下の対策を講じています：
- サービス開始当初は、ビデオからビデオへの生成機能はサポートしない。
- 著名人のテキストからのビデオ生成はサポートしない。
- Cameo機能を通じて同意したユーザー以外の実在の人物を含む生成をブロックする。
- Cameo機能では、同意のないヌードやわいせつな表現、暴力的な表現、詐欺目的で利用されうる出力を防ぐ分類器が適用される。
- 児童の安全（Child Safety）: CSAMの防止、検出、報告を優先し、専用のセーフティスタックを構築しています。すべての入出力をスキャンし、NCMEC（全米行方不明・被搾取児童センター）とも連携しています。
- 10代の安全（Teen Safety）: 18歳未満のユーザーを保護するため、追加のモデレーションしきい値の適用、プライバシー保護の強化、保護者向け管理ツールなどが導入されています。
7. 安全性評価の結果
OpenAIは、レッドチームによって収集された何千もの敵対的なプロンプトを使用してSora 2のセーフティスタックを評価しました。その結果、性的コンテンツ、自傷行為、暴力、過激主義などのカテゴリにおいて、不適切なコンテンツのブロック率（not_unsafe）と、問題のないコンテンツを誤ってブロックしない率（not_overrefuse）の両方で高い精度（多くが95%以上）を達成していることが示されています。
要するに…
Sora 2の「システムカード」は、AIが安全に使われるためのルールブックのようなものです。悪い言葉の入力や不適切な動画の生成を防ぐ仕組みがあり、特に子供が使う場合は、より厳しい安全対策が取られます。本人の許可なく顔を使えないようにする「Cameo」機能のルールや、作られた動画がAI製だとわかる印（透かし）を入れることも書かれています。これは、皆が安心して楽しめるように、OpenAIがたくさんの安全対策を考えていることを説明するものです。
コメント