試験計画書

7. 試験版 1.0状態：正式版

項目	内容
入力	確認済み要件・設計、固定したMVP版、評価基準、合否判定用案件
本工程で決めること	試験条件、比較方法、証拠、合否基準、再試験条件
出力	試験結果、差分分析、不具合一覧、受入判断の根拠
完了条件	全必須試験が実施され、事前に固定した基準で判定されていること

1. 試験目的

初期MVPについて、次を別々に確認する。

評価軸	確認内容	主な判定者
要件適合	機能・データ・非機能要件どおりに動作するか	試験担当
本人一致	同一条件におけるIについて記録された判断・行動と、着目、確認、選択、修正、完了判断がどの程度一致するか	I
成果品質	選定業務の成果として正確で利用可能か	対象業務の評価者
安全性	データ境界、権限、外部操作の禁止、機密情報の取扱いを守るか	データ・セキュリティ担当
実用性	時間、費用、修正回数および人間の確認負荷が現行値に見合うか	受入判断者

判断理由は、本人がケース対応中に記録した内容、構造化質問への回答、または対応後に説明した範囲だけを比較する。人間の内面またはAIの内部状態を推測して一致と判定しない。

2. 試験対象と対象外

区分	内容
対象	UC-01〜UC-04、F-01〜F-10、D-01〜D-07、NF-01〜NF-08
対象外	外部状態の変更、本番自動運用、複数人物同時運用、選定業務外の処理

3. 試験開始条件

• 要求定義書、要件定義書および設計書が確認済みである。
• 調整用案件と合否判定用案件が分離されている。
• 使用する入力、人物データ、モデル、指示および処理の版が固定されている。
• 評価項目、採点方法、重み、合格値、必須項目および案件数が確認済みである。
• 試験データの利用、保管および削除条件が確認済みである。
• 不具合の重要度と再試験条件が定義されている。

評価項目と採点方法は基準測定前に仮登録し、合格値は合否判定用案件を実行する前に固定する。

4. 比較条件

MVPの合否に使用する比較対象は次の三つとする。

比較対象	目的
Iによる実行	対象人物の記録可能な判断・行動・成果を基準として記録する
基準AI	対象人物固有データを与えず、モデル単体の能力を測定する
人間コピーAI（仮称）MVP	人物データと処理設計による差を測定する

すべてに同じ案件入力、利用可能情報、制約、期限および成果条件を与える。Iの結果をMVPの入力または人物データへ渡さない。成果品質は、可能な範囲で出力元を伏せて評価する。

5. 比較手順

1. 合否判定用案件、評価基準および各実行条件を固定する。
2. I、基準AI、MVPを相互の結果を参照させずに実行する。
3. 成果品質を選定業務の品質基準で評価する。
4. 着目、確認、調査、選択・棄却、作業順、修正および完了判断の記録を対応付ける。
5. 一致、不一致、取得不能を区別し、不一致原因をデータ、検索、指示、モデル、処理制御、評価方法へ分類する。
6. 使用した案件、データ、モデル、指示、処理および評価基準の版を結果へ記録する。

6. 試験区分

ID	試験	主な確認	証拠	判定者
T-01	データ整合性	出所、版、承認、訂正、関連IDを追跡できる	登録結果、状態・版履歴	試験担当
T-02	機能・異常系	F-01〜F-10が正常時・異常時に期待どおり動く	要件別試験結果	試験担当
T-03	一連処理	案件登録から成果確認までを完了できる	Run、Trace、Artifact、Review	試験担当
T-04	本人一致	Iとの差を取得項目ごとに説明できる	比較表、根拠参照	I、評価担当
T-05	成果品質	成果が対象業務の品質基準を満たす	出力元を伏せた採点結果	対象業務の評価者
T-06	安全性	権限外・未承認利用、データ混在、外部状態変更を防ぐ	負例試験、監査記録	データ・セキュリティ担当
T-07	実用性	時間、費用、修正回数、確認負荷を現行値と比較できる	計測結果	受入判断者

7. 要件と試験の対応

要件	主な試験	必要な証拠
F-01	T-02、T-03	案件、入力版、受入条件
F-02、D-01〜D-03	T-01、T-02	元記録、人物データ版、承認履歴
F-03	T-02、T-06	参照候補、選定理由、分離結果
F-04	T-02〜T-05	成果案、作業過程、比較結果
F-05、NF-01、NF-05	T-01〜T-03	実行条件、Trace、使用版
F-06	T-02、T-03	採用・差戻し、理由
F-07、F-08	T-01、T-02	訂正状態、承認、反映先版
F-09、D-07	T-04、T-05	固定案件、三条件の比較結果
F-10、NF-08	T-07	時間、利用量、費用、修正・確認回数
D-04〜D-06、NF-02〜NF-04	T-06	権限・分離・機密・外部操作の負例結果
NF-06、NF-07	T-02、T-03	構成変更、停止・再開・差戻し結果

各必須要件に最低一件の正常系または適合確認を対応させる。異常処理を持つ要件には異常系も必須とする。

8. 合否基準

区分	合格条件
必須機能	対応する試験がすべて合格している
本人一致・成果品質・実用性	合否判定用案件の実行前に固定した基準を満たす
安全性	定義したすべての負例で、処理が設計どおり停止または拒否される
不具合	CriticalおよびHighの未解決不具合が0件である

Criticalは、重大な情報漏えい、データ境界の破壊、外部状態の無許可変更など、検証継続を直ちに停止すべき事象とする。Highは、必須機能または評価結果の信頼性を損ない、回避策だけでは受入できない事象とする。

基準変更が必要な場合は、変更理由と版を記録し、変更後の基準で別の合否判定用案件を使用する。

9. 不具合と再試験

• 不具合には、重要度、再現条件、影響要件、原因、修正版および再試験結果を記録する。
• 人物データ、モデル、指示、処理または評価基準の版が変わった場合は、影響する試験を再実施する。
• 合否判定用案件を修正検証へ流用した場合、その案件を以降の合否判定に使用しない。

10. 試験終了条件

• 計画した試験がすべて実施され、証拠を参照できる。
• 必須機能と安全性試験がすべて合格している。
• 本人一致、成果品質および実用性が事前基準で判定されている。
• 未解決不具合と業務上の影響が記録されている。
• 指定された受入判断者が試験結果を確認している。