細切れの自動化で作った商品と、手順書で通しで作らせた商品はどう違ったか ― AIの商品づくりの作り方を比べた話
J-WORKSでは、商品を作る工程を段階ごとに分け、段階ごとに別々のAIを呼び出す自動の商品づくりの仕組みを使っていた。この仕組みで完成した商品と、手順書を渡して1つのAIに最初から最後まで通しで作らせた商品を比べたところ、出来上がりが大きく違った。違いを比べ、差が出た理由を整理した記録。
検証条件
J-WORKSでは、AIだけで販売用の商品を作る仕組みを試してきた。最初に作ったのは、商品づくりをいくつもの段階に細かく分け、段階ごとに別々のAIを呼び出して、前の段階の出力を次の段階へ渡していく自動の仕組み(以下、段階分割型)である。一方で、商品の作り方をまとめた手順書と見本を1つのAIに渡し、最初から最後まで通しで作らせ、出来上がったものを別のAIに辛口でレビューさせる方法(以下、手順書型)も試した。2026年9月29日、この2つの方法で作った商品を比べた。
実行内容
段階分割型の仕組みが作った完成品と、手順書型で作った商品を、実物を開いて比べた。段階分割型については、設計の段階で書かれていた「何を作るはずだったか」と、実際に出来上がった物を照らし合わせた。手順書型については、実際のExcelで計算を検算し、表の計算結果が正しいかを1つずつ確かめた。なお、比べた2つの商品は題材も形式も違うため、条件を厳密にそろえた比較ではない。それでも、設計でうたったことが完成品で実現しているかという点と、完成品が実際に使える状態かという点では、はっきりした差があった。
結果
段階分割型の仕組みが作った唯一の完成品は「カリキュラム計画Excel」だった。提案された価格は15万円で、設計の段階では「自動で計画を生成する」ことをうたっていた。しかし、実物は、利用者が自分で値を手入力していく表であり、設計でうたった自動生成は実現していなかった。一方、手順書型では、副業の収支を記録するExcelのノート(販売価格980円)を作った。実際のExcelで369項目の計算を検算し、すべての結果が合うことを確認した。同じAIを使っていても、作り方によって完成品の中身に大きな差が出たことになる。設計で自動生成をうたっていながら実物が手入力の表だったということは、仕組みの中の確認の段階でも、その食い違いが見逃されていたことを意味する。
失敗原因
差が出た理由は、次の4つだと考えている。(1)人がAIと直接やり取りしながら作るときには自然に行っている「作る→見る→直す」という往復を、段階分割型の仕組みは無くしていた。各段階は1回出力したら次へ渡すだけで、出来上がりを見て直す機会が無かった。人がAIと直接やり取りするときは、出来上がりを見て「ここが違う」と伝え、直させることを何度も繰り返しており、この往復が品質の多くを支えていた。(2)段階ごとに別のAIへ出力を渡していく伝言ゲームの中で、最初の意図が少しずつ薄まっていった。設計の「自動生成」が、制作の段階では手入力の表になってしまったのはその典型である。(3)目指すべき完成品の良い見本が無く、各段階のAIが「良い商品とは何か」を具体的に知らなかった。(4)確認の段階が、表の形式がそろっているかなどの形式チェックだけで、商品として使えるかどうかを見ていなかった。段階を分けること自体が悪いわけではない。問題は、段階を分けたことで、各段階のAIが全体の目的を知らないまま、目の前の入力だけを処理するようになったことにある。
改善
この比較を受けて、商品づくりは段階を細かく分けず、手順書と見本を渡して1つのAIに通しで作らせ、別のAIに辛口でレビューさせる往復を回す形を基本にした。収支ノートでは、レビューに加えて、実際のExcelで計算を検算するところまでを確認に含めた。人が手作業でやっていた「見て、直す」往復を、仕組みの中に組み込み直すことが要点である。通しで作らせる場合も、作るAIと確認するAIは分ける。作ったAI自身の確認は甘くなりやすいためである。
現在の結論
2026年9月29日の比較で確認できたのは、段階分割型の仕組みの唯一の完成品が、設計でうたった自動生成を持たない手入力の表だったこと、手順書型で作った収支ノートは実際のExcelで369項目の計算がすべて合ったことである。AIで何かを作る仕組みを自動化すると、AIに直接頼んだときより品質が落ちる、と感じる場合は、人がやっていた往復と見本が抜けていないかを確認することをおすすめする。工程を細かく分けるほど伝言ゲームが増えるため、手順書と見本を渡して通しで作らせ、別のAIにレビューさせる往復を自動で回す方が、意図が保たれやすい。自動化した仕組みの品質が落ちていると感じたら、(1)完成品を最初の設計や企画と並べ、うたっていたことが実現しているかを確かめる、(2)各段階のAIが、最終的に何を作るのかという目的と見本を受け取っているかを確かめる、(3)出来上がりを見て直す往復が、仕組みのどこかにあるかを確かめる、(4)確認の工程が、形式だけでなく中身(計算が合うか等)を見ているかを確かめる、の順で見直すとよい。AIに直接頼んだときにうまくいくのは、AIの能力だけでなく、頼む人の側が往復と見本を補っているからだ、と考えると、自動化で抜け落ちたものが見えやすい。
根拠
2026-09-29(JST)に実施した、段階分割型の自動の商品づくりの完成品と、手順書による通しの商品づくりの完成品の比較結果を記録した、J-WORKS社内のノウハウ記録による。