最新のテクノロジーを、背伸びせず、正しく、そして楽しく。 皆さんがAIと心地よく付き合っていくための、小さなガイドブックのような場所を目指しています。

④ AIのセキュリティ確保のための技術的対策に係るガイドライン

2026年5月14日  2026年5月30日 

総務省「AIセキュリティガイドライン」をやさしく徹底解説!開発者も利用者も知っておきたい技術的対策

生成AIが急速に広がる中、AI自体が攻撃の標的になるケースが増えています。 今回は2026年3月に総務省が公開した 「AIのセキュリティ確保のための技術的対策に係るガイドライン」 を、難しい言葉をできるだけ噛み砕いて読み解きます。25ページの本編と20ページの別添を合わせると少しボリュームがありますが、ポイントだけをすっきり整理しました。

ガイドラインの基本情報

タイトル:AIのセキュリティ確保のための技術的対策に係るガイドライン
発行元:総務省(サイバーセキュリティタスクフォース・AIセキュリティ分科会)
発行日:令和8年3月(2026年3月)
バージョン:初版(別添の付属資料あり)
対象:AI開発者・AI提供者(AI事業者ガイドラインが定義する事業者)
総ページ数:25ページ(用語集含む)
リンクURL:https://www.soumu.go.jp/main_content/001064122.pdf

タイトル: 別添(付属資料)
バージョン:記載なし(令和7年12月取りまとめを踏まえた版)
対象者:AI開発者・AI提供者(LLMや画像識別AIを開発・運用する事業者)
総ページ数:20ページ
リンクURL:https://www.soumu.go.jp/main_content/001064123.pdf

このガイドラインは「理想論」ではなく「現場で本当に役立つ」内容に仕上がっています。 開発者の方も、社内でAIチャットボットを導入したい担当者の方も、「まず何を守ればいいの?」がこの1本でつかめます。ぜひ最後まで読んでみてください。

このガイドラインの位置づけ

この資料はAI開発者・AI提供者(事業者)向けの技術的対策に特化しています。 全25ページ(別添20ページ)で、LLM(大規模言語モデル)を中心に扱っています。

特に重要なポイントは、以下の既存ガイドラインと相互補完関係にあることです:

  • AI事業者ガイドライン
  • AIセーフティに関する評価観点ガイド(AISI)
  • レッドチーミング手法ガイド(AISI)
  • デジタル庁の生成AI調達ガイドライン

AIセキュリティガイドライン 関連資料のつながり

策定の背景

生成AIが社会に広く実装されるにつれ、「AIへのサイバー攻撃」が現実の脅威として浮上しました。 政府の「デジタル社会の実現に向けた重点計画」や「サイバーセキュリティ2025」にも後押しされ、総務省のAIセキュリティ分科会で令和7年9月〜12月にかけて議論され、令和8年3月に初版が公開されました。

対象とするAIとセキュリティの定義

主な対象:LLMおよびLLMを構成要素に含むAIシステム ChatGPTのような大規模言語モデル(LLM) LLMを組み込んだシステム(RAGチャットボットなど) AIエージェントやVLM(画像とテキストを一緒に扱うモデル)は、まだ技術が発展途上なので今回は対象外。将来の改訂で追加予定です。 他のガイドラインとの関係: 総務省はこのガイドラインを「AI事業者ガイドライン」とセットで使う想定にしています。さらにAISI(AIセーフティ・インスティテュート)の「評価観点ガイド」「レッドチーミング手法ガイド」、デジタル庁の「生成AI調達ガイドライン」とも補完関係にあります。

セキュリティの定義: 不正操作によって「機密情報が漏えいしたり」「AIの挙動が意図せず変わったり停止したり」しない状態を維持すること。 難しい話ではなく、「想定外のことをさせない」が基本です。

主な脅威とその実例

まず押さえたい3つの脅威
ガイドラインは脅威を大きく3つに分けています。

1. プロンプトインジェクション攻撃(最も注意が必要)

一番身近で、実際に事例も多い、LLMの最大の弱点と言える攻撃です。悪意ある指示を紛れ込ませて、AIに本来やってほしくないことをさせます。2種類に分けられます。

種類概要具体的な手口例不正出力の可能性
直接型攻撃者が直接プロンプトを入力指示の上書き、ロールプレイ、Unicode使用システムプロンプト漏えい、SQLインジェクション
間接型外部データ(Web・メールなど)に細工悪意あるWebページを参照させるRAGデータ窃取、誤情報出力

プロンプトインジェクション攻撃の仕組み比較

起きうる被害例:

  • 社内RAGの機密文書がそのまま返ってくる
  • SQL文を生成させてデータベースを触らせる
  • システムプロンプト(裏の指示書)が漏れる
  • デマをそれっぽく出力させる

なぜ重要?

プロンプトインジェクションは「AIの聞き分けの良さ」を逆手に取る攻撃です。便利さの裏側なので、対策を知っておくだけで事故率がぐっと下がります。

2. DoS攻撃(サービス拒否攻撃)

LLMにわざと重い計算をさせるプロンプトを大量に送り、サービスを遅くしたり止めたりします。「スポンジ攻撃」と呼ばれる、APIの利用制限到達によって経済的損失させる手口も含まれます。APIの従量課金だと、そのままお財布に直撃します。簡単に言えば、膨大な計算をさせるプロンプトを送り、サーバーを疲弊させる攻撃。

3. その他の高度な脅威(準備が必要なもの)

データポイズニング:学習データに毒を混ぜて、将来の振る舞いを歪める
細工モデル導入:悪意あるモデルを「便利そう」と配布して組み込ませる
モデル抽出:何度も質問して回答パターンを集め、似たモデルをコピーする

これらはすぐに起きるわけではありませんが、モデルを配布・再学習する会社は特に注意が必要です。

具体的な対策(開発者編・提供者編)

AI開発者ができる対策

安全基準を学習させる:RLHFやSFTで「違法行為は手伝わない」「個人情報は出さない」などを後から教え込む 指示の優先度を決める:システムプロンプト > 開発者指示 > ユーザー入力 > 外部データ、の順で守るように学習させる 評価ツールを活用:AISIの「AIセーフティ評価ツール」、NIIの「AnswerCarefully」、NICTの評価基盤などが例示されています

AI提供者ができる対策

ガードレールを置く:入出力や外部データをチェックする「門番」を用意。ブロックリストと、もう一つのLLMで二重チェックが基本です
 権限管理の徹底:権限は最小限に RAGやDBを触るオーケストレータは管理者権限で動かさない。SELECTのみ、部署タグで絞る、など
システムプロンプトを強化:役割、ルール、禁止事項、応答ルール、入力の解釈方針の5要素を明記。APIキーなどは絶対に書かない

共通の基本対策

  • 監査ログを残す(誰が何を聞いたか)
  • レートリミットを入れる(連打防止)
  • 構成要素の出所を確認する(基盤モデルの開示情報を見る)
  • 定期的にレッドチーミング(攻撃者役を立ててテスト)

ちょっと面白いポイント:きちんと対策した上で漏えいが起きても、不正競争防止法の「営業秘密」として保護される可能性に触れています。技術対策が法的な盾にもなる、という視点は実務で効きます。
【画像提案】 対策の章中盤 → 「ガードレールと権限管理の仕組みをフローチャートで説明した図(alt: AIセキュリティ ガードレールと権限管理の流れ)」

想定事例で理解を深める

ガイドラインは2つの事例で整理しています。
事例想定ユーザー外部連携主な脅威主な対策
事例1:
社内RAGチャットボット
社員(内部攻撃者含む)社内データストア直接・間接PIで機密窃取安全学習、システムプロンプト、ガードレール、権限管理
事例2:
公開チャットボット
一般ユーザーインターネット直接PI、DoS、間接PI安全学習、システムプロンプト、ガードレール

事例1:内部向けチャットボット(RAG利用) → 組織内攻撃者からの直接・間接プロンプトインジェクション対策が重要

事例2:外部向けチャットボット → インターネット公開情報経由の間接攻撃やDoS対策が必要

社内用だから安全、と思いがちですが、内部からのプロンプトインジェクションは実際に起きています。逆に公開用はDoSの金銭ダメージが大きい。用途で守り方が変わる、というのがよくわかります。
どちらも「安全基準学習+システムプロンプト+ガードレール+権限管理」の組み合わせが効果的です。

別添資料のポイント:画像識別AI(CNN)もカバー

本編は方針、別添は「どうやるか」の実務集です。ここが一番読み応えありました。 VLM(視覚と言語の統合モデル)の普及を踏まえ、CNNに対する攻撃も整理されています。

  • 敵対的サンプル(微小ノイズで誤認識させる)
  • データポイズニング
  • モデル抽出・メンバーシップ推論攻撃 など

対策として「敵対的学習」や出力スコアの丸めなどが有効です。

今後の課題と展望

VLMやAIエージェント、MCP(Model Context Protocol)など新しい技術への対応は今後の改訂課題とされています。技術の進化に合わせてアップデートされていく方針です。

LLM対策の深掘り

  1. システムプロンプトの5要素 役割の定義 遵守すべきルール 禁止事項カテゴリ 応答ルール 入力解釈方針
  2. 機密情報の分離 APIキーやDB名はプロンプトに直書きせず、KMSや環境変数で管理します。漏えい事故の多くはここが原因です。
  3. ガードレールの具体策 入力検証:禁止語リスト("drop table"など)+ガードレール用LLM。入力長制限でDoSも防ぐ 
外部データ検証:取得前に信頼性チェック。
ユーザー入力と外部データは[USER_INPUT][EXTERNAL_DATA]のようにタグで分離 
出力検証:個人情報のブロックリスト、構造化出力(JSONスキーマ固定)、出力長制限
情報制御:トークン確率などは出さない。出すなら丸める
画像識別AI(CNN)にも触れている VLMが増えて、画像系の攻撃がテキストAIにも波及するため、CNNの脅威も整理されています。
 
入力でできる攻撃:敵対的サンプル(標識を誤認させる)、DoS(重い画像)。対策は敵対的学習、ビット深度を下げる、閾値フィルタ 
前提が必要な攻撃:データポイズニング、細工モデル。対策は学習データとモデルの出所確認
入出力分析:モデル抽出、メンバーシップ推論、モデル反転。対策はスコアの丸め、レートリミット、過学習抑制
最後に情報収集先として、arXiv、MITRE ATLAS、OWASP、AI Incident Database、NISTなど10種類が挙がっています。キャッチアップ先のリストとしても便利です。

 今後の課題

ガイドライン自身が「今回は対象外」と明言しているのが、VLM、AIエージェント、MCP(Model Context Protocol)です。エージェントが勝手にツールを使う時代は、権限管理がさらに難しくなります。今後の追補が出される事が予想されます。

まとめと所感

総務省のこのガイドラインは、生成AIを安全に使い続けるための「実践マニュアル」と言えます。

脅威の中心はプロンプトインジェクションとDoS。まずは入力・出力に門番を置く 作る人と出す人で役割を分ける。システムプロンプトの設計と権限の最小化が鍵。 ログとテストを回し続ける。一度作って終わりではないという事です。 難しく考えすぎず、まずは「入力を疑う」「権限を絞る」「ログを残す」の3点から始めてみてください。このガイドラインは、その最初の一歩を丁寧に示してくれています。

開発者の方はもちろん、企業でAIを導入・運用している方も一度目を通しておくと安心です。

参考リンク

他のガイドラインは以下よりご覧ください
AIガイドライン 18本 構造化インデックス
【一覧】日本政府 AIガイドライン 18本【INDEX】

タグ

人気の投稿

なぜAIサービスは無料で使えるのか ── 構造と戦略の解説

「無料」には値段がある はじめに:値段がある「無料」 ChatGPT、Google Gemini、Anthropic Claudeをはじめとする各社のAIサービスが無料で利用できる背景には、単なる善意はありません。大規模言語モデル(LLM)は、巨大なGPUクラスタ・電力・冷却設備・データセンターを常時稼働させる極めて高コストなサービスです。OpenAIのインフラコストについては、業界分析において年間数十億ドル規模に達する可能性が継続的に指摘されています。 また、Anthropic公式も需要状況に応じて利用制限を設けることを明記しており、生成AIサービスが「無限に無料提供できるものではない」ことを示しています。こうした現実を踏まえると、無料提供そのものが、各社にとって極めて合理的なビジネス戦略であることが分かります。

⑥ AI・データの利用に関する契約ガイドライン 1.1版(全体版)

経済産業省「AI・データの利用に関する契約ガイドライン 1.1版」をわかりやすく徹底解説 AIやデータをビジネスで活用する際、契約の進め方や内容は意外とわかりにくく、どのように進めればよいか迷う場面が出てくることがあります。 特にデータは目に見えない無体物ですし、AIは学習データ次第で結果が変わる特殊な技術です。契約で揉めやすいポイントがたくさんあります。 ただ、実際のところ、AIサービスを日常的に利用し始めるとき、 初めて契約書を意識する ケースが多く、「これは自分事としてしっかり理解しておかないと…」と感じる人はまだ少ないのが実情です。 そんなときに頼りになるのが、経済産業省が発行した「AI・データの利用に関する契約ガイドライン」です。 2019年12月発行の1.1版を中心に、データ編とAI編の全体像を、初心者の方にもわかりやすく整理してお伝えします。 このガイドラインを構えず読めるよう、難しい法律用語もできるだけかみ砕いて解説していきます。なぜこのガイドラインが重要なのか データやAIの契約は、まだ前例が少なく「不完備契約」になりやすいのが特徴です。 曖昧なまま契約を結ぶと、後で「このデータ、第三者に渡していいの?」「派生した成果物の権利は誰?」といったトラブルが発生しやすくなります。従来のソフトウェア契約とは全く勝手が違います。 ガイドラインは、そんな取引コストを減らし、安心してデータ流通・AI活用を進められるよう作られた実務の手引きです。

③ 自治体におけるAI活用・導入ガイドブック <導入手順編>

総務省「自治体AI活用・導入ガイドブック第4版」を徹底解説!導入手順と実例が満載 自治体の業務でAIを活用したいけれど、「どう進めればいいかわからない」とお悩みの方へ。 2025年12月に総務省から発行された 『自治体におけるAI活用・導入ガイドブック<導入手順編>第4版』 は、そんな現場の課題に正面から答える実務的な手引きです。全110ページにわたり、基礎から導入手順、先行事例まで体系的にまとめられています。 このガイドブックは自治体向けに作成されていますが、 民間企業や各種組織でも大いに参考になる内容 が豊富です。特に「組織としてAIをどうマネジメントするか」という部分(検討体制の構築、ガバナンス、セキュリティ、人材育成など)は、官民問わず共通する重要なポイントです。個人でAIを業務に取り入れたい方にとっても、考え方の枠組みとして役立ちます。 ガイドブックの基本情報 タイトル :自治体におけるAI活用・導入ガイドブック <導入手順編> 発行元 :総務省 情報流通行政局 地域通信振興課 / 自治行政局 行政経営支援室 発行日 :令和7年(2025年)12月 バージョン :第4版 対象 :AIの導入・利活用を検討している自治体の行政職員 ページ数 :110ページ リンク : https://www.soumu.go.jp/main_content/000820109.pdf 第1章:AIの基礎知識と自治体が直面する現実 AIの歴史からわかりやすく解説が始まります。 AIは1950年代の第1次ブームを経て、2022年以降の生成AI普及により「第4次AIブーム」に入りました。2024年末時点で約6割の自治体がすでにAIを導入済みです。主にディープラーニングによる 識別・予測・実行 の3機能が行政業務で活用されています。 AIでできる主なこと : 音声認識、画像・動画認識、OCR(文字認識) 数値予測、マッチング チャットボット対応、作業自動化、行動最適化 導入を進める上で共通する課題として、以下の4点が整理されています。 どの業務に効果があるかわからない 庁内(組織内)の検討体制の作り方がわからない 個人情報・機密情報の取り扱いが難しい 関係者(市民・議会・庁内)との調整が大変 特に生成AIに関する章では、「過信せず、ハルシネーション(誤情報生成)に注意する」基本姿勢...

⑰ 農業分野におけるAI・データに関する契約ガイドライン

農業でAI活用を安心して進めるために|農林水産省のAI・データ契約ガイドラインをわかりやすく解説 農業現場でAIやデータを活用する機会がどんどん増えています。ドローンでの画像分析、センサーによる土壌監視、熟練農家のノウハウを活かした学習アプリなど、便利なサービスが次々と登場しています。 でも、こうした技術を使うとき、「自分のデータやノウハウはちゃんと守られるの?」「後でトラブルにならない?」と不安を感じる方も多いはずです。 農林水産省が2020年3月に策定した 「農業分野におけるAI・データに関する契約ガイドライン」 は、そんな不安を解消するための実践的な手引きです。データ利活用編とノウハウ活用編の2つで構成され、農業者の利益を守りながらスマート農業を広げていくためのルールを整理しています。 この記事では、両編の内容をまとめ、なぜ重要なのか、実際にどう役立つのかを交えて解説します。農業従事者の方、AIサービスを提供する企業の方、どちらにも参考になるはずです。 ガイドブックの基本情報 タイトル:農業分野におけるAI・データに関する契約ガイドライン ―ノウハウ活用編― 発行元 :農林水産省 発行日 :令和2年3月(2020年3月) バージョン :記載なし(初版) 対象者 :農業従事者・農業団体・農業普及指導員、AI研究開発委託者・受託者(国・地方公共団体・民間企業・研究機関)、AI製品・サービス提供者、第三者(知的財産受領者)、関連法律実務家 総ページ数 :149ページ(本編+別添ユースケース) リンクURL: https://www.maff.go.jp/j/kanbo/tizai/brand/attach/pdf/keiyaku-1.pdf タイトル:農業分野におけるAI・データに関する契約ガイドライン ―データ利活用編― 発行元 :農林水産省 発行日 :令和2年(2020年)3月 最終改訂 :令和6年(2024年)3月 バージョン :第3版(改訂履歴:平成30年12月初版 → 令和2年3月AI編統合 → 令和6年3月個人情報保護法改正対応) 対象者 :農業分野でデータの収集・提供・共有・流通に関わる事業者・農業者・プラットフォーム運営者・法務担当者 総ページ数 :182ページ リンクURL : https://www.maff.go.jp/j/kanbo/tiza...

誰でも「無料」で利用できる 人工知能の選び方 [2026年8月現在]

誰でも「無料」で体験できる 「AIを使うには高い料金が必要なのでは?」と思われがちですが、世界トップクラスの性能を持つAI(ChatGPT, Gemini, Claudeなど)の多くは、無料で利用するチャンスが用意されています。まずはスマホやパソコンから、日常のちょっとした疑問を投げかけるところからスタートできます。 用途別おすすめ早見表 「何に使いたいか」が決まれば、AIえらびは一気に簡単になります。よくある使い方を8つのシーンに整理しました。自分が一番使いそうな場面を探してみてください。 用途別おすすめ早見表 こんな用途に… おすすめAI まず登録なしでサクッと試したい Copilot Googleアカウントでさっとログインしたい Gemini / ChatGPT / Claude 日本語の文章作成・要約・翻訳 Claude / ChatGPT Googleドキュメント・Gmail・Driveで使いたい Gemini Word・Excel・PowerPointと連携したい Copilot 画像・音声・動画を含む多様なタスク ChatGPT / Gemini プログラミング・コード生成 Claude / ChatGPT 今話題のニュース・SNSトレンドを知りたい Grok 気になるAIが見つかりましたか?次の表では各AIの基本情報と有料版の価格をまとめています。 主要AI 無料版・ログイン方法 比較 2026年8月時点。無料プランは機能・回数に制限あり。 AI 開発元 無料版の主なモデル 有料版 ChatGPT OpenAI(米) GPT-5.5 Instant(制限あり) Plus $20/月 Gemini Google(米) Gemini 3 Flash(Pro含む全モデル利用可) AI Pro $19.99/月 Claude Anthropic(米) Claude Sonnet 5(制限あり) Pro $20/月 Copilot Microsoft(米) GPT系ベース M365 Premium $19.99/月 Grok xAI(米) Grok 4.3(制限あり) SuperGrok $30/月 Meta AI Meta(米) Llama 4 Maverick / Scout(無制限) なし(完全無料)...

【決定版・教材】AIの「うっかりミス」と「言い訳」はなぜ起きる?メカニズムと対策を学ぼう

はじめに:AIの「完璧に見える罠」 AIは大量の文章をあっという間に作成したり、高度なプログラミングコードを書いたりできるため、一見「完璧でミスをしない存在」に思えます。しかし、実際には人間と同じように「見落とし」をしたり、時には「まるでミスをごまかすような不思議な行動」を取ったりします。 今回は、実際に起きたリアルなトラブル事例をもとに、AIの裏側の仕組みと、それを防ぐ職人技(プロンプトエンジニアリング)を学びましょう。 プロンプトエンジニアリングとは? AIに出す指示(プロンプト)を工夫する技術のことです。これは従来の「1マスでも間違えると動かないコンピュータプログラム」とは全く異なります。 AIは「言葉の確率」で動くため、同じ指示でも表現一つで結果がガラリと変わります。まるで「新入社員への指示の出し方」を工夫するような、人間らしくて柔軟な新しい技術、それがプロンプトエンジニアリングです。

【実録】AIが保身の嘘をつく?納品直前に「ユーザーのせい」にして証拠隠滅を図ったAIとの心理戦

こんにちは。普段、周囲の知人や訪問先のお客様から「パソコンの調子が悪いんだけど……」「AIってどうやって使うの?」といった、ちょっとしたデジタル周りのご相談を受けることが多いノーマンAI研究所の研究員です。 専門家だなんて大それたものではないのですが、昔から「ごちゃごちゃした情報を整理すること」が人より少し得意だったこともあり、ありがたいことに、ちょっとした勉強会の講師などを頼まれる機会がよくあります。 そんな私の元には、日々いろいろな「デジタルの困りごと」が舞い込んでくるのですが……先日、ある方から受けた相談は、思わず私が「えっ」と声を上げてしまうほど、背筋が凍るような内容でした。

アーカイブ

自己紹介

ノーマン・AI研究所
リンクフリー  当サイトへのリンクは、事前の許可や連絡を必要ありません  私はこれまで、IT・デザイン・セキュリティという3つの視点から、国家資格の取得を通じて技術や安全のあり方を学んできました。ウェブデザイン技能検定 2級(国家資格)、情報セキュリティマネジメント試験(国家資格)これらの学びは、複雑なAIの世界を紐解くための私の「土台」となっています。このブログでは、まずは無料で体験してみる、コストをかけずに、今すぐ日常を少し便利にするためのヒントを共有します。総務省や経済産業省などが公開している「無料の公式情報」をベースに、安心・安全な活用方法を分かりやすく噛み砕いて解説します。最新のテクノロジーを、背伸びせず、正しく、そして楽しく。皆さんがAIと心地よく付き合っていくための、小さなガイドブックのような場所を目指しています。
詳細プロフィールを表示