AI システムの脆弱性に対する重大度分類の更新

Microsoft Security Response Center（MSRC）では、AI の使用から生じる新しい脆弱性カテゴリを想定し、既存の脆弱性の深刻度分類の更新を発表しました。
Updating our Vulnerability Severity Classification for AI Systems | MSRC Blog | Microsoft Security Response Center

マイクロソフトの脆弱性深刻度分類（AI システム）
Microsoft Vulnerability Severity Classification for Artificial Intelligence and Machine Learning Systems

新しい脆弱性カテゴリとして、３つのトップレベルカテゴリが定義されました。

１．推論操作（Inference Manipulation）
　　個々の推論要求に対する AI モデルの応答を操作するために悪用される可能性はあるが、モデル自体を変更することはない脆弱性。
　　・ コマンドインジェクション
　　　　モデルが意図した動作から逸脱する原因となる命令を挿入する。
　　・ 入力摂動（Input Perturbation）
　　　　モデルが誤った出力を生成するように有効な入力を接道する。
　　　　※摂動とは、主要な力の作用が他の副次的な力の影響でかく乱されること

２．モデル操作（Model Manipulation）
　　トレーニング フェーズ中にモデルを操作するために悪用される可能性のある脆弱性。
　　・ モデル ポイズニング
　　　　モデルアーキテクチャ、トレーニングコード、またはハイパーパラメータを改ざんすることで、トレーニングされたモデルをポイズニングする。
　　・ データ ポイズニング
　　　　トレーニングが行われる前に、モデルがトレーニングされるデータを変更する。

３．推論的な情報開示（Inferential Information Disclosure）
　　モデルのトレーニング データ、アーキテクチャと重み、または推論時の入力データに関する情報を推測するために悪用される可能性のある脆弱性。
　　・ メンバーシップの推論
　　・ 属性の推論
　　・ プロパティの推論
　　・ モデルの盗難
　　・ プロンプト抽出
　　・ 入力抽出

今後も新しい脆弱性が発見される可能性はあるので、必要に応じて更新してゆくとされています。