AIに作業を自動で任せるとき、「成功」の表示を信じる前に確認したい4つのこと

この記事で分かること

AIに記事づくりや商品づくりを自動で任せていると、「エラーが出ていない」「テストが通っている」といった表示を、そのまま信じてしまいがちです。J-WORKSでは、そうした表示と実際の中身がずれていた例が4件ありました。この記事は、その4件の記録から共通点を取り出し、自分の仕組みを見直す時の確認ポイントとして整理したものです。個々の数字や経過は、それぞれの記録ページで確認できます。

1. 作業の「登録上の種類」が、実際にやっていることと合っているか

自動開発の仕組みは、登録された作業の種類を見て、何を確認するかを決めます。J-WORKSのExcel商品づくりは、表計算のデータファイルしか書き込まないのに、毎回「コードを書き換える作業」として登録されていました。そのため、記録を確認した1件では、成果物が約1.5分でできたあとに、444個の全体テストが約10分走っていました。しかも、その回は47個のファイルで失敗しましたが、原因は共有のテスト用データベースが汚れていたことで、この作業とは関係がありませんでした。それでも、正しく作られていた成果物が捨てられていました。2026年9月19日に種類を直しています。経過の詳細はExcel商品を作るAIの作業が、毎回約10分の全体テストを走らせていた不具合にあります。

確認の仕方(編集部の考察):作業を登録した時の種類と、実際に書き込んでいるものを、見比べてみてください。

2. 「まだ確認できていない」と「確認する材料がそろっていない」を、同じ扱いにしていないか

AIが作った表計算ツールを機械で審査する仕組みが、判断の材料がそろっている時にも、そろっていない時と同じ「追加の確認作業をしてください」という定型の指示を出していました。後から材料の有無を機械で判定する仕組みが加わったのに、古い処理がその結果を見ていなかったためです。内容が違うはずの2回の審査結果に、まったく同じ文面が使われていたことが、気づくきっかけでした。2026年9月22日に直しています。詳しくはAIが作った商品の機械審査が、材料がそろっていても「まだ確認できていない」と言い続けた不具合にあります。

確認の仕方(編集部の考察):違う場面で同じ文面が繰り返し出ていたら、AIの文章ではなく、システムが定型で組み立てている可能性を疑ってみてください。

3. AIが読む「根拠の一覧」に、AI自身への指示が混ざっていないか

毎日の運営記録をnote記事にする自動生成では、記事の根拠にする「その日の事実の一覧」を機械で作っています。この一覧に、記事を書くためにAIへ送った指示の記録が混ざっていました。修正前に公開された最初の4本で調べると、一覧全体に占める割合は、約26%(135件中35件)、約46%(133件中61件)、約34%(256件中86件)、約27%(215件中58件)でした。読者向けの本文に出た事実は、確認した範囲ではありませんでした。本文は別の校正のチェックで守られていたからです。2026年9月2日に直しています。詳しくはAIが自分への指示文を記事の「事実」として集めていた不具合にあります。

確認の仕方(編集部の考察):本文だけでなく、本文の材料の側も調べてください。

4. 安全チェックは緩めずに、書き込み先のほうを変える

複数の商品づくりの仕組みを1つにまとめる準備中、「まだ本番で使っていない新機能」に関係する単語が、混ぜてはいけないと決めていた3つのファイルに入り込み、自動テストが1件失敗しました。実装自体は指示どおりでしたが、書き込み先の指定が安全チェックの対象と重なっていたのが原因でした。チェックの内容は変えず、該当の処理だけを別のファイルに切り出して直しました。直したあとのテストは、合計816件がすべて合格しています(2026年9月22〜23日)。詳しくは「まだ混ぜてはいけない」を守る安全チェックが働いた話にあります。

確認の仕方(編集部の考察):AIに実装を指示する時は、書き込み先が安全チェックの対象と重なっていないかを、先に確認してください。

4つの症状と、疑う場所

• 成果物は正しいのに、作業全体が失敗扱いになる → 作業の登録上の種類と、共有のテスト用データを疑う。記録: Excel商品を作るAIの作業が、毎回約10分の全体テストを走らせていた不具合
• 違う場面で同じ指示文が繰り返し出る → 古い処理が、新しい判定の結果を見ていないかを疑う。記録: AIが作った商品の機械審査が、材料がそろっていても「まだ確認できていない」と言い続けた不具合
• 根拠の一覧が、実際の出来事より多い・偏っている → 一覧の集め方(何のための記録かの区別)を疑う。記録: AIが自分への指示文を記事の「事実」として集めていた不具合
• 安全チェックが、実装の途中で失敗する → 書き込み先と、チェックの対象の重なりを疑う。記録: 「まだ混ぜてはいけない」を守る安全チェックが働いた話

まだ分かっていないこと

ここに挙げたのはJ-WORKS自身の仕組みで起きたことで、別の環境でも同じことが起きると確認したわけではありません。Excel商品づくりについては、直したあとの所要時間を本番で実測して比べることは、記録の時点ではまだ行っていません。

根拠

J-WORKS内部の実施記録(2026年9月2日〜9月25日)をまとめた記事です。数字と日付は、上に挙げた各記録ページの内容と同じです。