業務システムを生成AIにつなぐ前の、安全チェックリスト

つなぐと、データはどう流れるか

まず、データの通り道を押さえます。社員が「今月の売上上位の取引先は?」と聞いたとき、おおむね次の順で処理されます。

1. 社員がChatGPTやClaudeに質問する
2. AIが、登録された接続先(業務システムへの入り口)の中から、使う機能を選ぶ
3. 接続先が、鍵を使って業務システムのAPIを呼ぶ
4. 業務システムが、売上データを返す
5. 返ってきたデータがAIに渡り、AIが答えを文章や表にまとめる

ここから、確認すべき点が3つに分かれることがわかります。AIに何をさせてよいか(権限)、鍵と接続先を誰が持つか(経路)、返ってきたデータがどこに残るか(保存と学習)です。チェックリストもこの3つで分けています。

読み取り専用から始める理由

最初は、データを見るだけの権限に絞ることを強くおすすめします。理由は3つあります。

• 誤操作の影響がない:AIは指示を取り違えることがあります。見るだけなら、間違えても誤った答えが出るだけで、システムのデータは書き換わりません。
• 外部からの指示の混入に強い:Claudeの公式ヘルプも、悪意のある接続先が隠れた指示を含める「プロンプトインジェクション」に注意するよう呼びかけています。取引先の備考欄などに紛れた文章をAIが指示と誤解しても、書き込みの権限がなければ実害を抑えられます。
• 確認の手間が少ない:ChatGPTの公式ヘルプでは、書き込みを伴う操作は、内容に応じて実行前に確認を求めると説明されています。毎回の確認は安全ですが、日常の質問には向きません。

売上の確認、在庫の照会、取引先の状況確認など、AIに聞いて役立つことの多くは読み取りで足ります。書き込みは、読み取りで効果が確かめられてから、対象を絞って検討しましょう。

接続前のチェックリスト(12項目)

権限:AIに何をさせてよいか

• 鍵は読み取り専用の権限で発行したか(管理者の鍵を流用していないか)
• AIに使わせる機能を、聞きたいことに必要な分だけに絞ったか
• 返ってくる項目に、不要な個人情報や機密(個人の連絡先、原価、給与など)が含まれていないか
• AIに接続先を使わせる社員の範囲を決めたか

経路:鍵と接続先を誰が持つか

• 鍵の保管場所と担当者を決めたか。メールやチャットに鍵を貼っていないか
• 鍵を止める手順(失効・再発行)を、開発会社と確認したか
• 接続先が信頼できる提供元のものか。ChatGPT・Claudeとも、公式ヘルプで「信頼できる接続先だけをつなぐ」よう明記しています
• 接続サービスを使う場合、業務データを保存するか、鍵をどう保管するかを確認したか

保存と学習:データがどこに残るか

• 使うAIのプランで、会話内容が学習に使われるかを確認したか。Anthropicは、法人向け製品(Team・Enterprise・API)の入出力を、既定では学習に使わないと説明しています。個人向けプランは扱いが異なるため、設定を確認します
• AI側で接続先を追加・公開できる人が、管理者に限られているか(ChatGPTのBusinessプランでは、管理者・オーナーのみが開発者モードを使えます)
• 誰がいつ何を聞いたか、利用の記録を後から確認できるか
• 問題が起きたときに、接続をすぐ止める方法を関係者が知っているか

顧客の個人情報を扱う場合

顧客管理システムなど、個人のお客様の情報を含むシステムをつなぐ場合は、もう一段の確認が必要です。個人情報保護委員会は2023年6月に、生成AIサービスの利用に関する注意喚起を出しています。そこでは、個人情報を含む内容を生成AIに入力する場合、利用目的の範囲内であることを十分に確認するよう求めています。

実務では、次の順で考えると判断しやすくなります。

1. AIに聞きたいことに、個人を特定する項目(氏名・電話番号・住所など)は本当に必要か
2. 不要なら、その項目を返さない機能だけをAIに使わせる(取引先の法人名と金額だけ、など)
3. 必要なら、自社のプライバシーポリシーの利用目的と照らし合わせ、社内の責任者や専門家に確認する

法人の取引先を中心にした販売管理や在庫管理から始めると、この論点を小さくできます。

接続サービスを選ぶときの6つの質問

自社で接続部分を作らず、外部のサービスや開発会社に任せる場合は、鍵とデータの通り道をその相手に預けることになります。申し込む前に、次の6つを聞いてください。答えがあいまいな相手は避けるのが無難です。

1. 業務データの中身を保存しますか:保存する場合は、何を、どこに、どれくらいの期間か。
2. 鍵はどう保管しますか:暗号化しているか、画面やメールで再表示されることはないか。
3. 読み取りだけに限定できますか:登録・更新・削除の機能を、AIに使わせない設定にできるか。
4. すぐに止められますか:接続の停止や鍵の削除を、自社の操作だけでできるか。
5. どこに送信しますか:登録した業務システム以外の宛先に、データを送ることはないか。
6. 誰が運営していますか:運営会社、所在地、問い合わせ先が明記されているか。少人数の運営なら、その体制で何ができるか。

これらは、開発会社に個別に依頼する場合でも同じです。契約書や仕様書に、答えを文面で残してもらいましょう。

安全対策にかかる手間と費用

安全対策の多くは、お金より手間の問題です。見落としやすいのは次の3つです。

• 読み取り専用の鍵の発行:システムに権限を分ける仕組みがない場合、開発会社への追加の依頼になります。事前に「読み取り専用の鍵を作れるか」「費用はかかるか」を聞いておきましょう。
• AI側のプラン:管理者による制御や、学習に使わない扱いは、法人向けプランで提供されることが多く、人数分の料金がかかります。個人向けプランのまま業務データを扱わないよう、予算に入れておきます。
• 運用の手間:鍵の管理、利用状況の確認、退職者の権限の削除など、定期的な作業が発生します。誰が担うかを最初に決めておきます。

よくある失敗

• 試しのつもりで、本番の管理者の鍵を使う:試しのまま本番運用に移り、強すぎる権限が残り続けます。最初から読み取り専用で発行します。
• 個人のアカウントで試す:社員個人のAIアカウントに接続先を追加すると、会社として管理できず、退職時にも止められません。
• 接続先の提供元を確かめない:公開されている接続先をそのまま追加すると、どこにデータが送られるかわかりません。提供元と、データの扱いの説明を確認します。
• 止め方を決めていない:おかしな答えや想定外の呼び出しに気づいたとき、誰が何をすれば止まるかを決めておきます。