Microsoft Security Response Center（MSRC）では、AI の使用から生じる新しい脆弱性カテゴリを想定し、既存の脆弱性の深刻度分類の更新を発表しました。
Updating our Vulnerability Severity Classification for AI Systems | MSRC Blog | Microsoft Security Response Center
マイクロソフトの脆弱性深刻度分類（AI システム）
Microsoft Vulnerability Severity Classification for Artificial Intelligence and Machine Learning Systems
新しい脆弱性カテゴリとして、３つのトップレベルカテゴリが定義されました。
１．推論操作（Inference Manipulation）
個々の推論要求に対する AI モデルの応答を操作するために悪用される可能性はあるが、モデル自体を変更することはない脆弱性。
・ コマンドインジェクション
モデルが意図した動作から逸脱する原因となる命令を挿入する。
・ 入力摂動（Input Perturbation）
モデルが誤った出力を生成するように有効な入力を接道する。
※摂動とは、主要な力の作用が他の副次的な力の影響でかく乱されること
２．モデル操作（Model Manipulation）
トレーニング フェーズ中にモデルを操作するために悪用される可能性のある脆弱性。
・ モデル ポイズニング
モデルアーキテクチャ、トレーニングコード、またはハイパーパラメータを改ざんすることで、トレーニングされたモデルをポイズニングする。
・ データ ポイズニング
トレーニングが行われる前に、モデルがトレーニングされるデータを変更する。
３．推論的な情報開示（Inferential Information Disclosure）
モデルのトレーニング データ、アーキテクチャと重み、または推論時の入力データに関する情報を推測するために悪用される可能性のある脆弱性。
・ メンバーシップの推論
・ 属性の推論
・ プロパティの推論
・ モデルの盗難
・ プロンプト抽出
・ 入力抽出
今後も新しい脆弱性が発見される可能性はあるので、必要に応じて更新してゆくとされています。
