文章の種類ごとの総合点
外部で公開されている 5 種類の日本語の文章で比べました。棒が長いほど良い点で、1.00 が満点です。
RAYVEN DLPMicrosoft PresidioGLiNER
業務の書類
AI へのプロンプト
業務メール
書類のひな形
医療の記録
テストに使ったデータ
上の 5 種類の文章は、自社で用意したものではなく、第三者が公開しているデータです。だれでも同じデータで確かめられます。
| 文章の種類 | 公開元 | データ名 | ライセンス |
|---|---|---|---|
| 業務の書類 | NVIDIA | Nemotron-PII-Japan | CC BY 4.0 |
| AI へのプロンプト | LLM-jp | llm-jp-chatbot-arena-conversations | CC BY 4.0 |
| 業務メール | Preferred Networks | japanese-mail-bench | Apache 2.0 |
| 書類のひな形 | NagaYu さん | sumi-ja-pii-corpus | CC BY-SA 4.0 |
| 医療の記録 | mama health | mama-deid-dataset | CC BY 4.0 |
- 点数は、ルールの調整に一度も使っていない「確認専用」の部分だけで出しています。
- 業務メールと AI へのプロンプトは、元の文章に個人情報が無いため、架空の個人情報を 1 文足して測りました。
- 伏せる項目の「合格」の判定にも、外部のデータだけを使っています。自社で作ったデータは、外部のデータが無い項目(年金・在留カードの番号など)の参考値にとどめています。
- ページ上部の総合点 0.88 と誤って反応する割合 2.8% は、上の 5 種類に、英語の文章・Wikipedia・自社で作ったデータを加えた全体の値です。
伏せる項目の判定
正しさ 0.95 以上・見逃しの少なさ 0.90 以上・テスト 300 件以上で「合格」。
- 氏名
- 住所
- 電話番号
- メールアドレス
- 生年月日
- 郵便番号
- 銀行口座
- 在留カード番号
- 社外秘の表示
判定待ちは、外部の公開データに正解が無く、まだ判定できない項目です。自社で作ったデータでの参考値は、在留カード番号が合格の水準(正しさ・見逃しの少なさとも 1.00)、社外秘の表示は正しさ 0.99・見逃しの少なさ 0.89 です。
補足
- 文章の中の名前でも 他社製品を上回りました(医療の記録 0.91・業務の文章 0.87。Microsoft Presidio 0.78・0.82)。
- 英語の文章では GLiNER の方が上です(0.79 対 0.58)。日本語向けに作っているためです。
比べた製品: Microsoft Presidio GLiNER(AI モデル) Yelp detect-secrets Gitleaks