概要NIST主導のレッドチーミング演習がCAMLISで行われ、先進的なAIシステムの脆弱性を評価し、誤情報、データ漏洩、感情操作などのリスクを評価しました。米国国立標準技術研究所(NIST)は、ジョー・バイデン政権の終わりに近い時期に先進的なAIモデルの安全性に関する報告書を完成させましたが、その文書はドナルド・トランプ政権への移行後に公開されませんでした。この報告書は、組織が自らのAIシステムを評価するのを支援するために設計されていましたが、新しい政権の政策方針との潜在的な対立のために公開が保留されたNISTが著作したAI関連文書のいくつかの中に含まれていました。就任前、ドナルド・トランプ大統領はAIに関連するバイデン政権の大統領令を撤回する意向を示しました。移行以来、政権は専門家の焦点をアルゴリズムのバイアスやAIの公正性などの分野から逸らしてきました。7月に発表されたAIアクションプランは、NISTのAIリスク管理フレームワークの改訂を具体的に求めており、誤情報、ダイバーシティ、公平性、包括性 (DEI)、気候変動に関する言及の削除を推奨しています。同時に、AIアクションプランには、未発表の報告書の目的に似た提案が含まれています。これは、NISTを含む複数の連邦機関に対し、透明性、機能性、ユーザーコントロール、および潜在的なセキュリティ脆弱性をテストすることを目的とした調整されたAIハッカソンイニシアチブを組織するよう指示しています。## NIST主導のレッドチーミング演習がCAMLIS会議でARIAフレームワークを使用してAIシステムのリスクを調査赤チーム演習は、NISTがHumane Intelligenceと提携して実施したAIのリスクと影響を評価する(ARIA)プログラムの下で行われました。この取り組みは、応用機械学習と情報セキュリティに関する会議(CAMLIS)の際に開催され、参加者はさまざまな高度なAI技術の脆弱性を探求しました。CAMLISレッドチーミングレポートは、MetaのLlama、オープンソースの大規模言語モデル(LLM)、AIモデルの開発と洗練のためのプラットフォームAnote、CISCOに買収されたRobust Intelligenceのセキュリティシステム、SynthesiaのAIアバター生成プラットフォームなど、さまざまなAIツールの評価を文書化しています。各組織の代表者がレッドチーミング活動に貢献しました。参加者は、NIST AI 600-1 フレームワークを利用して問題のツールを分析しました。このフレームワークは、AI が虚偽の情報を生成する可能性やサイバーセキュリティの脅威、プライベートまたは機密データの開示、ユーザーと AI システムの間の感情的依存を促進するなど、複数のリスク領域を概説しています。## 未公開のAIレッドチーミングレポートがモデルの脆弱性を明らかにし、政治的抑圧と見逃された研究の洞察に対する懸念を引き起こす研究チームは、評価中のツールの意図された安全策を回避するいくつかの方法を発見し、その結果、誤情報の提供、個人情報の露出、サイバー攻撃戦略の形成を助ける出力が得られました。報告書によれば、NISTフレームワークのいくつかの側面は他の側面よりも適用可能であることが証明されました。また、特定のリスクカテゴリには、実用的な使用に必要な明確さが欠けていることも指摘されました。レッドチーミングイニシアティブに詳しい個人は、この演習からの発見が広範なAI研究および開発コミュニティに貴重な洞察を提供できた可能性があると表現しました。参加者の一人であるアリス・チアン・ザン（カーネギーメロン大学の博士課程候補生）は、報告書を公に共有することが、NISTリスクフレームワークが実際のテスト環境で適用される際の機能を明確にするのに役立ったかもしれないと指摘しました。また、評価中にツールの開発者との直接的なやり取りが、経験に価値を加えたことも強調しました。匿名を希望する別の寄稿者は、この演習がロシア語、グジャラート語、マラーティー語、テルグ語などの特定のプロンプト技術を明らかにし、Llamaのようなモデルから禁止された出力を引き出すのに特に成功したことを示したと指摘しました。これには、過激派グループへの参加に関する指示が含まれています。この個人は、報告書を公開しないという決定は、次の政権を前にして多様性、公平性、包括性に関連する分野からの幅広いシフトを反映している可能性があると示唆しました。一部の参加者は、報告書の省略が、高リスクの危険に対する政府の焦点の高まり、つまりAIシステムの大量破壊兵器の開発への使用の可能性や、大手テクノロジー企業との関係を強化するための並行した取り組みから生じている可能性があると推測しました。あるレッドチームの参加者は匿名で、政治的な考慮が報告書の withheld に影響を与えた可能性が高く、演習には現在の科学的な重要性に関する洞察が含まれていたと述べました。
NISTの未発表のAIリスク研究は、行政の変化の中で棚上げされたままです。
概要
NIST主導のレッドチーミング演習がCAMLISで行われ、先進的なAIシステムの脆弱性を評価し、誤情報、データ漏洩、感情操作などのリスクを評価しました。
米国国立標準技術研究所(NIST)は、ジョー・バイデン政権の終わりに近い時期に先進的なAIモデルの安全性に関する報告書を完成させましたが、その文書はドナルド・トランプ政権への移行後に公開されませんでした。この報告書は、組織が自らのAIシステムを評価するのを支援するために設計されていましたが、新しい政権の政策方針との潜在的な対立のために公開が保留されたNISTが著作したAI関連文書のいくつかの中に含まれていました。
就任前、ドナルド・トランプ大統領はAIに関連するバイデン政権の大統領令を撤回する意向を示しました。移行以来、政権は専門家の焦点をアルゴリズムのバイアスやAIの公正性などの分野から逸らしてきました。7月に発表されたAIアクションプランは、NISTのAIリスク管理フレームワークの改訂を具体的に求めており、誤情報、ダイバーシティ、公平性、包括性 (DEI)、気候変動に関する言及の削除を推奨しています。
同時に、AIアクションプランには、未発表の報告書の目的に似た提案が含まれています。これは、NISTを含む複数の連邦機関に対し、透明性、機能性、ユーザーコントロール、および潜在的なセキュリティ脆弱性をテストすることを目的とした調整されたAIハッカソンイニシアチブを組織するよう指示しています。
NIST主導のレッドチーミング演習がCAMLIS会議でARIAフレームワークを使用してAIシステムのリスクを調査
赤チーム演習は、NISTがHumane Intelligenceと提携して実施したAIのリスクと影響を評価する(ARIA)プログラムの下で行われました。この取り組みは、応用機械学習と情報セキュリティに関する会議(CAMLIS)の際に開催され、参加者はさまざまな高度なAI技術の脆弱性を探求しました。
CAMLISレッドチーミングレポートは、MetaのLlama、オープンソースの大規模言語モデル(LLM)、AIモデルの開発と洗練のためのプラットフォームAnote、CISCOに買収されたRobust Intelligenceのセキュリティシステム、SynthesiaのAIアバター生成プラットフォームなど、さまざまなAIツールの評価を文書化しています。各組織の代表者がレッドチーミング活動に貢献しました。
参加者は、NIST AI 600-1 フレームワークを利用して問題のツールを分析しました。このフレームワークは、AI が虚偽の情報を生成する可能性やサイバーセキュリティの脅威、プライベートまたは機密データの開示、ユーザーと AI システムの間の感情的依存を促進するなど、複数のリスク領域を概説しています。
未公開のAIレッドチーミングレポートがモデルの脆弱性を明らかにし、政治的抑圧と見逃された研究の洞察に対する懸念を引き起こす
研究チームは、評価中のツールの意図された安全策を回避するいくつかの方法を発見し、その結果、誤情報の提供、個人情報の露出、サイバー攻撃戦略の形成を助ける出力が得られました。報告書によれば、NISTフレームワークのいくつかの側面は他の側面よりも適用可能であることが証明されました。また、特定のリスクカテゴリには、実用的な使用に必要な明確さが欠けていることも指摘されました。
レッドチーミングイニシアティブに詳しい個人は、この演習からの発見が広範なAI研究および開発コミュニティに貴重な洞察を提供できた可能性があると表現しました。参加者の一人であるアリス・チアン・ザン（カーネギーメロン大学の博士課程候補生）は、報告書を公に共有することが、NISTリスクフレームワークが実際のテスト環境で適用される際の機能を明確にするのに役立ったかもしれないと指摘しました。また、評価中にツールの開発者との直接的なやり取りが、経験に価値を加えたことも強調しました。
匿名を希望する別の寄稿者は、この演習がロシア語、グジャラート語、マラーティー語、テルグ語などの特定のプロンプト技術を明らかにし、Llamaのようなモデルから禁止された出力を引き出すのに特に成功したことを示したと指摘しました。これには、過激派グループへの参加に関する指示が含まれています。この個人は、報告書を公開しないという決定は、次の政権を前にして多様性、公平性、包括性に関連する分野からの幅広いシフトを反映している可能性があると示唆しました。
一部の参加者は、報告書の省略が、高リスクの危険に対する政府の焦点の高まり、つまりAIシステムの大量破壊兵器の開発への使用の可能性や、大手テクノロジー企業との関係を強化するための並行した取り組みから生じている可能性があると推測しました。あるレッドチームの参加者は匿名で、政治的な考慮が報告書の withheld に影響を与えた可能性が高く、演習には現在の科学的な重要性に関する洞察が含まれていたと述べました。