7/20のHackFesに参加しました！
内容や関連リンクなど、個人的な備忘メモです
Hack Fes. 2024
『LLMのセキュリティ･リスク』（45min）高江洲 勲
- 文章生成AI LLM に焦点を当てて
- 確率の高い情報が選択される
- LLM活用のセキュリティでの留意点・懸念点
- 幻覚
- 情報漏洩
- 悪性LLM
- LLMアプリケーション
幻覚
- 幻覚インシデントの事例：弁護士がChatGPTで判例を探したが、全くの嘘だった
- 幻覚発生要因
- LLMの性質：
- 学習データの品質
- 学習中の真実根拠の欠如
- プロンプトのあいまいさ
- 幻覚による被害を防ぐ方法
- ファクトチェックの実施
- プロンプトの補強・明確化
- 回答生成時に外部知識を活用
情報漏洩
悪性LLM
カスタムGPTsを悪用した攻撃と対策について | 技術者ブログ | 三井物産セキュアディレクション株式会社
- 悪性LLMへの対策
- 信頼できないGPTsを利用しない
- GPTsに重要情報を入力しない
- GPTsが通信する外部サーバを検証する
- GPTsが表示するダウンロードリンクのURLを検証する
LLMアプリケーション
- LLMとエージェントのDBや外部APIを叩いて回答を返す