AIの商品企画の審査を、点数1つの仕分けから「買う人にとっての価値」の判定へ作り直した ― 根拠のない企画は点数に関係なく調べ直しへ
J-WORKSでは、AIが考えた商品の企画を、制作に進める前に審査している。当初の審査は1〜10点の点数1つで企画を3段階に仕分けるだけだったが、2026年10月2日、買う人にとっての価値・機能・見せ方の3つの軸で判定し、出典のある根拠が無い企画は点数に関係なく調べ直しへ戻す形に作り直した。判定の仕組みと、作り直しの過程で分かったことの記録。
検証条件
J-WORKSの商品づくりの仕組みでは、AIが商品のアイデアを調べ、企画(どんな人に、どんな商品を、いくらで売るかをまとめた設計書)を作り、その企画を審査してから制作に進める。2026年10月2日の時点で、この審査は企画に1〜10点の点数を1つ付け、3段階に仕分けるだけのものだった。点数1つでは、「誰が困っているのか」「本当にお金を払うのか」といった、買う人の側から見た価値がどれだけ確かめられているのかが分からない。そこで同日、運営者の決定により、実際の企業の商品レビューのように、買う人にとっての価値を軸に判定する形へ作り直した。
実行内容
新しい審査では、企画を作ったAIとは別の会社のAIが、企画と、アイデアの段階で集めた調査の根拠を読み、事実と仮定を分けて判定する。判定の軸は3つある。1つ目は顧客価値で、誰が、今は何を使っていて、どんな手順で作業し、どこで詰まっているのか、その問題はどれほど強く頻繁か、お金を払う理由は何か、商品の形式は合っているか、似た商品が実際に売れているという確認済みの事実があるか、を見る。2つ目は機能性で、設計された機能が、その詰まっている点を、お金を払うに値する深さで解決しているか、単純な表や計算で終わっていないかを見る。3つ目は見せ方で、売り文句の説得力を見るが、これは参考情報とし、合否には影響させない。合否は、顧客価値と機能性のうち低い方の点数だけで決める。簡略化した例: 「総合点 = min(顧客価値, 機能性)。5.0未満は不採用、5.0以上6.0未満は企画を直して再審査(最大3回)、6.0以上は制作へ」。不採用になった企画も削除はせず、後から戻せるようにしている。
結果
根拠についての基準も明確にした。商品レビュー、Q&Aサイト、課題を書いたSNS投稿、似た商品の販売数やレビュー件数など、出典のある公開情報があれば十分な根拠として扱い、出典の無い推測は根拠として数えない。根拠が足りない場合は、点数に関係なく、企画をアイデアの調査の段階へ戻して調べ直させる(最大2回まで)。この新しい基準で、過去の企画13件を判定し直したところ、13件すべてが「根拠不足」と判定された。理由を見ると、今の作業手順、詰まっている点、問題の強さや頻度、似た商品が売れている根拠の4点について、どの企画もそもそも出典のある情報を持っていなかった。判定の仕組みは意図どおりに動いており、足りないのは企画の材料の側だったことになる。この結果を受け、アイデアの調査の段階で、この4点を出典のURLつきで調べるよう強化した。あわせて、企画を作る側にも、対象者、課題、成果、提供の流れ、方法、期間、価格、販売方法の8つの要素を企画書に書くよう求め、審査では、これらがそろっているか、互いに筋が通っているかも判断の材料にした。
失敗原因
当初の審査が点数1つの仕分けだったことで、審査は「企画が良さそうに見えるか」を見ることはできても、「買う人が本当にいて、お金を払う理由があるという根拠が確かめられているか」を見る形になっていなかった。また、作り直しの過程で行ったコードレビューでは、別の弱点も見つかった。審査役のAIが「根拠は十分」と自己申告すれば、そのまま通ってしまう作りになっていたことである。さらに、「業界一般」「AI推定」のような、出典らしく見えるだけの言葉が出典として通ってしまっていた。
改善
AIの自己申告は信用せず、仕組みの側でも独立に根拠を確かめるようにした。出典は実在のURLの形をしたものだけを有効とし、有効な出典が1件も無ければ、点数やAIの申告に関係なく調べ直しへ戻す。コードレビューでは、設定値の読み取りにも落とし穴が見つかった。プログラムで空の文字列を数値に変換すると0になるため、合否の基準点の設定が空欄のとき、基準点が0として扱われ、審査が事実上無効になりうる状態だった。簡略化した例: 「Number("") は 0 になる → 空欄・範囲外の設定は、既定値の5.0と6.0に戻す」。このほか、審査のAIの呼び出しが失敗し続けたときに同じ処理を際限なく繰り返さないよう回数の上限を設け、上限に達した企画は不採用ではなく保留にして、運営者が社内の画面で確認できるようにした。
現在の結論
2026年10月2日の作り直しで確認できたのは、新しい審査が、買う人にとっての価値と機能性の低い方で合否を決め、出典のない根拠を数えない形で動くこと、そして過去の企画13件がすべて根拠不足と判定され、その理由が調査の段階の材料不足にあったことである。AIに企画や判断をさせる場合は、点数1つではなく、何を根拠にその点数なのかを、出典つきで出させることをおすすめする。また、AIの「十分です」という申告は、仕組みの側で独立に確かめるとよい。設定値が空欄のときに0として扱われるような、目立たない落とし穴も、審査の基準そのものを無効にしうるため、境界の値をテストで確かめておく価値がある。
根拠
2026-10-02(JST)に実装し、同日に本体へ取り込んだ一連のコード修正の記録(変更内容とコミットメッセージ、3回のコードレビューへの対応記録を含む)と、その修正で追加・更新した自動テストによる。