「まだ証拠がない」と決めつけていた自動チェック ― 無駄なやり直しの原因を特定して直した話

J-WORKSでは、AIが作った商品を機械的に審査する仕組みを使っている。この仕組みの中に、「まだ確認できていない」という前提で書かれた古いルールが、実際には確認材料が十分そろっているケースにも同じ判定を出し続けていた欠陥があった。過去の判定記録を突き合わせて原因を特定し、確認材料の有無を実際に見てから判断するよう直し、テストで検証した記録。

検証条件

J-WORKSでは、AIが作った商品(表計算ツールなど)を、人が毎回全部を見なくても済むように、機械的な審査の仕組みに通している。この仕組みは「まだ改善が必要」と判断した場合、具体的に何を直せばよいかをその場で組み立てて伝える役割を持っており、今回検証したのは、この「具体的に何を直せばよいか」を組み立てる部分に、判断材料の状態を確認せずに同じ指示を繰り返す古いルールが残っていないか、という点である。

実行内容

過去の審査記録を見比べたところ、内容が違うはずの2回の審査結果に、まったく同じ定型文が使われている箇所が見つかった。この定型文はAIがその場で考えて書いた文章ではなく、システム側が自動で組み立てて差し込んでいるものだと分かる特徴を持っていたため、該当する処理のコードを直接読み、この定型文がどの条件で生成されるかを確認した。すると、「初めて使う人が最初につまずかないかどうか」という項目について、"まだ確認できていない"という判定が出た場合、確認材料が実際にどれだけそろっているかを一切見ずに、常に同じ「追加の確認作業をしてください」という指示を組み立てて送っていることが分かった。つまりこの仕組みは、判断材料が既に十分にそろっている場合でも、そろっていない場合とまったく同じ扱いをしていた。

結果

原因の処理に、判断材料が実際にそろっているかどうかを確認する分岐を追加した。具体的には、機械的な検証(実際に数値を入れて動かした結果)が合格しており、かつ確認対象の項目が実際に見える状態になっている場合は、この「追加の確認作業をしてください」という指示を組み立てず、そのまま先に進めるようにした。判断材料が実際にはそろっていないケース(検証が不合格・確認対象が見えない状態になっている等)では、これまでどおり指示を組み立てることも確認した。この修正が対象とする処理・その前後の処理を含め、検証用のテストを270件実行し、全件合格したことを確認した。

失敗原因

原因は、この仕組みが作られた当初、「まだ確認できていない」ケースは常に「これから確認材料を追加すれば直せる」という前提で設計されていたことにある。この前提は、確認材料がまだ何も無い状況では正しいが、その後別の仕組みが追加され、確認材料が既にそろっているかどうかを機械的に判定できるようになったにもかかわらず、この古い処理はその新しい判定結果を一切参照していなかった。結果として、確認材料が既に十分そろっているケースでも、「材料が無い」ケースと同じ指示が繰り返し組み立てられ、意味の無いやり直しを招く状態になっていた。

改善

判断材料の有無を機械的に確認できる別の仕組みが既にあったため、新しい判定ロジックを作らず、その仕組みが返す結果をこの処理の中で参照するだけの、最小限の変更で対応した。対象は特定の1形式(表計算ツール)に限定し、それ以外の形式の処理は変更していない。判定材料が期待した形で得られない場合は、これまでどおりの動作(指示を組み立てる側)に倒すようにし、判定できない状態を「問題なし」に誤って倒さないようにした。

現在の結論

修正自体は実装し、テストで想定どおりの動作(材料がそろっている場合は指示を組み立てない・そろっていない場合はこれまでどおり指示を組み立てる)を確認済みである。この修正が、実際に止まっていた過去の商品の審査結果を変えるかどうかは、まだ確認していない(今回の記録は仕組みの修正と検証までの範囲であり、過去の個別案件への適用結果について断定できる数字は現時点で無い)。

根拠

2026-09-22に実装したコード修正と、2026-09-23に実行した関連テスト270件(全件合格)によるJ-WORKS内部の実施記録。