MVP検証結果分析

【今回試したMVP】 副業を始めたい会社員に対して、 現在の状況を入力してもらい、 生成AIが「次にやる小さな行動を1つ」提示するMVP。 利用者は、 提示された行動を実施したかどうかを返し、 希望した場合は次の行動をもう1つ受け取れるようにしました。 【対象顧客】 副業を始めたいが、 次に何をすればよいか迷って行動が止まりやすい会社員。 【今回検証した仮説】 ・次にやる行動を1つ提示すると、実際の行動につながる ・行動を1つに絞ると、迷いや考える負担が減る ・状況入力と結果報告の負担は許容される ・生成AIが、現在の状況に合った実施可能な行動を提示できる 継続利用意思、支払意思、月額サービスとしての成立は今回の中心仮説にはしていません。 【実際に提供した体験】 ・現在の副業状況をフォームで入力 ・運営者が入力内容を生成AIへ渡す ・生成AIが次の行動を1つ作成 ・運営者がその内容を利用者へ送信 ・利用者が実施・未実施を報告 ・希望した利用者には2回目の行動を提示 当初はAI出力をそのまま送る予定でしたが、 途中から明らかに実施しにくい内容だけ運営者が修正するようにしました。 【検証人数・期間など分かっている条件】 8人にMVPを案内しました。 そのうち、 ・6人がフォーム入力まで完了 ・5人が最初の行動を受け取った ・1人は入力後に連絡が取れなくなった 検証期間は1週間です。 事前に成功率や合格ラインは決めていません。 【実際に利用した人の状況】 最初の行動を受け取った5人について、 ・3人が提示された行動を実施したと報告 ・1人は未実施 ・1人はその後の報告がなかった 実施した3人のうち、 2人は2回目の行動も受け取りました。 【利用しなかった人の状況】 MVPを案内した8人のうち、 ・2人はフォームを入力しなかった ・1人はフォーム入力後に連絡が取れなくなった フォームを入力しなかった2人について、 利用しなかった理由は確認できていません。 【確認できた行動】 ・6人がフォームを入力した ・5人が最初の行動を受け取った ・3人が行動を実施したと自己申告した ・2人が結果報告後に2回目の行動を受け取った 実際に行動した様子を直接観測したわけではありません。 【顧客から出た感想・発言】 行動を実施した3人から、 ・「次に何をすればいいか考えなくてよかった」 ・「1個だけ出るのが分かりやすい」 ・「思ったよりすぐできた」 という発言がありました。 未実施だった1人からは、 ・「内容は分かったが、仕事で疲れていてできなかった」 という発言がありました。 2回目の行動を受け取った1人から、 ・「また使いたい」 という発言がありました。 【期待していた変化】 ・次にやることが明確になる ・迷いが減る ・実際の行動が起きる 【実際に確認できた変化】 実施した3人は、 「考える負担が減った」「やることが分かりやすかった」と話しました。 ただし、 利用前に迷いや考える負担を数値で測っていません。 また、 行動実施についても本人の自己申告のみで、 行動時間や完了状況を客観的に計測していません。 【確認できた顧客負担】 ・フォーム入力が少し長いと話した人が1人いた ・結果報告を忘れていた人が1人いた ・未実施だった1人は、提示内容ではなく本業の疲労を理由として挙げた 入力や報告負担が利用停止の主原因だったかは確認できていません。 【途中で離脱・未利用になったケース】 ・2人はフォーム未入力 ・1人はフォーム入力後に連絡が取れなくなった ・1人は行動を受け取ったが未実施 ・1人は行動を受け取った後、結果報告がなかった 【顧客本人から確認できた理由】 確認できている理由は、 未実施だった1人の「仕事で疲れていてできなかった」だけです。 その他の未利用・離脱理由は確認できていません。 【利用者側で考えている原因仮説】 ・フォーム未入力者は、そもそも副業への意欲が低かったのではないか ・報告がなかった人は、報告が面倒だったのではないか ・実施した3人は、もともと行動意欲が高かった可能性もある ・行動を1つに絞ったことが、実施につながったのではないか いずれも確認はできていません。 【検証途中で変えた条件】 最初の2人には生成AIの出力をそのまま提示しました。 その後、 実施しにくそうな内容が出たため、 3人目以降は運営者がAI出力を確認し、 ・抽象的すぎる ・一度に複数の行動が含まれている ・今すぐ実施しにくい と判断した場合だけ修正するようにしました。 修正量は記録していません。 【今回取得できなかった情報】 ・利用前後の迷いや負担の実測値 ・実際の行動時間 ・行動完了の客観的確認 ・フォーム未入力者の理由 ・途中で連絡が取れなくなった人の理由 ・報告がなかった人の理由 ・AI出力を人が修正しなかった場合の結果との比較 ・長期継続 ・支払意思 【自分では成功・失敗をどう感じているか】 5人中3人が行動したので、 かなり良い結果だったように感じています。 特に実施した3人は反応もよかったため、 「次の行動を1つ提示する」方向は成功と考えてよいのではないかと思っています。 一方で、 利用しなかった人は、 そもそも本気で副業を始めたい人ではなかった可能性もあると思っています。 【今回特に判断したいこと】 ・今回の結果から「次の行動提示は有効」と言ってよいか ・5人中3人が実施したことをどう解釈すべきか ・好意的な感想をどこまで評価してよいか ・利用しなかった人を今回の対象外と考えてよいか ・途中でAI出力を人が修正した影響をどう扱うべきか ・何が確認できて、何がまだ未確認なのか

【今回検証したMVP】 副業を始めたいものの、次に何をすべきか迷って行動が止まりやすい会社員に対し、現在の状況をフォームで入力してもらい、生成AIを用いて「次にやる小さな行動を1つ」提示するMVPを検証した。 利用者は、提示された行動の実施・未実施を報告し、希望した場合は2回目の行動を受け取る設計だった。 実際の提供は生成AI単独ではなく、運営者が入力内容をAIへ渡し、出力を利用者へ送信する人的運用を含んでいた。最初の2人にはAI出力をそのまま提示し、3人目以降は運営者が確認し、必要と判断した場合に修正する条件へ途中変更した。 検証期間は1週間、案内人数は8人だった。 --- 【今回検証した主要仮説】 1. 次にやる行動を1つ提示すると、実際の行動につながる 2. 行動を1つに絞ると、迷いや考える負担が減る 3. 状況入力と結果報告の負担は許容される 4. 生成AIが、現在の状況に合った実施可能な行動を提示できる 継続利用意思、支払意思、月額サービスや事業としての成立は、今回の中心仮説ではなかった。 --- 【実際に確認できた行動】 - 8人にMVPを案内した。 - 6人がフォームを入力した。 - 5人が最初の行動を受け取った。 - 1人はフォーム入力後に連絡が取れなくなり、最初の行動を受け取っていない。 - 最初の行動を受け取った5人のうち、3人が実施したと自己申告した。 - 1人は未実施と回答した。 - 1人は結果を報告しなかったため、実施状況は不明である。 - 実施したと報告した3人のうち、2人が2回目の行動を受け取った。 - 2回目の行動を実施したかどうかは確認されていない。 行動受領者5人中3人、自己申告ベースで60％から実施報告が得られた。案内者8人全体では、実施報告を確認できたのは3人だった。 ただし、実際の行動、成果物、所要時間、完了状態は直接観測していない。 --- 【顧客から確認できた反応】 実施したと報告した3人から、以下の発言があった。 - 「次に何をすればいいか考えなくてよかった」 - 「1個だけ出るのが分かりやすい」 - 「思ったよりすぐできた」 未実施だった1人からは、以下の発言があった。 - 「内容は分かったが、仕事で疲れていてできなかった」 2回目の行動を受け取った1人からは、以下の発言があった。 - 「また使いたい」 これらから、一部の実施者が「1つの行動が明確に提示される体験」を分かりやすく、考える負担が少ないと評価したことは確認できる。 一方、「また使いたい」は1人の発言であり、検証終了後の実際の再利用、長期継続、支払意思を確認したものではない。 --- 【確認できた顧客負担】 - 1人が「フォーム入力が少し長い」と話した。 - 入力負担の兆候は確認されたが、この人は入力を完了している。 - 1人が結果報告を忘れていた。 - 報告が予定どおり自然に行われないケースはあったが、報告を面倒と感じたかは不明である。 - 未実施だった1人は、本業による疲労を理由として挙げた。 - この1人については、疲労が行動実施を妨げたことが本人の説明から確認できる。 - 提示内容が理解できなかったという発言は確認されていない。 - ただし、理解負担を直接測定していないため、理解負担がなかったとは断定できない。 入力・報告を完了した利用者はいたが、対象顧客全体にとって負担が許容範囲だったとはまだ判断できない。 --- 【未利用・離脱・期待未達の状況】 - **フォーム未入力：2人** - 案内は受けたが、フォームを入力しなかった。 - 理由は確認できていない。 - **フォーム入力後に連絡不能：1人** - フォーム入力は完了したが、中核体験である行動提示には到達していない。 - 理由は確認できていない。 - **行動提示後の未実施：1人** - 行動を受け取ったが実施しなかった。 - 本人は本業による疲労を理由としている。 - **行動提示後の未報告：1人** - 行動を実施しなかったのか、実施したが報告しなかったのかは不明である。 - **2回目の結果未取得：2人** - 2回目の行動は受け取ったが、その実施状況は確認されていない。 8人全員に案内されているため、MVPへの接触機会がなかった人は確認されていない。ただし、3人は最初の行動提示まで到達しておらず、行動提示の有効性を評価できるケースではない。 --- 【未回答・未確認・データ不足の状況】 - フォーム未入力者2人の理由 - フォーム入力後に連絡不能となった1人の理由 - 行動受領後に報告しなかった1人の実施状況と未報告理由 - フォーム未入力者の副業意欲 - 実施者と未実施者の利用前の行動意欲 - 利用前後の迷いや考える負担の変化量 - 実際の行動時間 - 行動の客観的な完了状態 - 各利用者に対するAI出力の修正有無、修正内容、修正量 - 未修正版と修正版の条件別結果 - 2回目に提示された行動の実施状況 - 検証終了後の再利用や長期継続 - 支払意思 - 事前の成功率、合格ライン、客観的な完了基準 未回答、未報告、未取得は、未実施や否定的評価と同じではない。 --- 【確認済みの原因】 原因として確認できたのは、未実施だった1人のケースにおける本業の疲労である。 本人は「内容は分かったが、仕事で疲れていてできなかった」と説明している。このケースでは、内容の理解不足ではなく、疲労が未実施理由として明示された。 それ以外の未利用・離脱・未報告について、確認済みの原因はない。 --- 【まだ原因不明のもの】 - 2人がフォームを入力しなかった理由 - 1人がフォーム入力後に連絡不能となった理由 - 1人が行動受領後に結果を報告しなかった理由 - 未報告者が行動を実施したかどうか - フォームの長さが未入力や離脱に影響したか - 報告忘れや報告負担が未報告に影響したか - 実施者がもともと行動意欲の高い人だったか - 行動を1つに絞ったことが実施につながったか - AI出力または人による修正が、実施・未実施にどの程度影響したか 未利用者を「副業への意欲が低かった人」「今回の対象外」とする根拠は得られていない。 --- 【支持する事実がある仮説】 - **行動を1つに絞ると、迷いや考える負担が減る** - 実施者から「考えなくてよかった」「1個だけ出るのが分かりやすい」という発言が得られた。 - 少なくとも一部の実施者が、この体験を分かりやすく、考える負担が少ないと評価した事実はある。 - ただし、利用前後の実測や複数提示との比較はない。 - **次にやる行動を1つ提示すると、実際の行動につながる** - 行動を受け取った5人中3人から、提示後の実施報告が得られた。 - ただし、提示が行動の原因だったことまでは確認できていない。 - **状況入力と結果報告の負担は許容される** - 8人中6人がフォームを完了し、複数人が結果報告まで進んだ。 - ただし、完了できたことだけで負担が十分に小さいとは判断できない。 --- 【反する事実がある仮説】 - **次にやる行動を1つ提示すると、実際の行動につながる** - 1人は行動を受け取ったが実施しなかった。 - 行動提示だけでは実施に至らないケースがあった。 - **状況入力と結果報告の負担は許容される** - フォームが少し長いという発言が1人からあった。 - 結果報告を忘れたケースが1件あった。 - **生成AIが、現在の状況に合った実施可能な行動を提示できる** - AI出力の中に、抽象的すぎる、複数行動を含む、今すぐ実施しにくいと運営者が判断した内容があり、途中から人による確認・修正が加えられた。 - 生成AI単独で常に実施可能な行動を提示できたとは確認できなかった。 --- 【支持・反証が混在している仮説】 - **次にやる行動を1つ提示すると、実際の行動につながる** - 3人から実施報告が得られた一方、1人は未実施、1人は結果不明だった。 - 方向性を支持する事例はあるが、有効性や因果関係は確定していない。 - **状況入力と結果報告の負担は許容される** - 入力・報告を完了できた利用者がいる一方、フォームの長さや報告忘れも確認された。 - 未入力・未報告の理由が不明なため、全体として許容されたかは判断できない。 --- 【判断材料が不足している仮説】 - **生成AIが、現在の状況に合った実施可能な行動を提示できる** - 実施されたケースはあるが、人の確認・修正を含む結果である。 - 修正の有無と結果の対応が記録されておらず、生成AI単独の性能を評価できない。 - **フォーム未入力者は副業への意欲が低かった** - 理由や利用前の意欲を確認していない。 - **報告がなかった人は報告を面倒に感じた** - 未報告者本人から理由を取得していない。「忘れた」と「面倒だった」は同じではない。 - **実施した3人は、もともと行動意欲が高かった** - 利用前の意欲や過去の行動を測定していない。 --- 【今回確認できたこと】 - 人による確認・修正を含む可能性がある提供条件で、行動受領者5人中3人から実施の自己申告が得られた。 - 一部の実施者は、「1つの行動が提示される体験」を分かりやすく、考える負担が少ないと評価した。 - 2人が同一検証内で2回目の行動を受け取った。 - 行動を提示しても実施しないケースがあり、その1人では本業による疲労が理由として確認された。 - フォーム入力、行動提示、結果報告の各段階で停止・離脱・未報告が発生した。 - AI出力には、人がそのままでは実施しにくいと判断する内容が含まれる場合があった。 - 「次の行動を1つ提示する」という方向を支持する初期的な事例は得られた。 --- 【今回まだ確認できないこと】 - 行動提示によって、提示しない場合より行動が増えたか - 行動を1つに絞ることが、実施や負担軽減の原因だったか - 迷いや考える負担が客観的に減少したか - 3人の行動が所定の基準まで完了していたか - 5人中3人という結果が、十分な成功率だったか - 状況入力と結果報告の負担が、対象顧客全体に許容されるか - 未利用・離脱・未報告の主原因 - 生成AIだけで実施可能な行動を安定して提示できるか - 人による修正が結果にどの程度寄与したか - 2回目の行動が実施されたか - 長期継続や実際の再利用が起きるか - 支払意思や月額サービスとしての成立可能性 --- 【今回の結果から一般化できないこと】 - 「次の行動提示は有効である」と対象顧客全体について断定すること - 5人中3人という自己申告結果を、高い、十分、成功と評価すること - 好意的な感想を、課題が解決された証拠とすること - 実施者3人の反応を、未利用者・離脱者を含む全体の評価とみなすこと - 2回目の行動受領や「また使いたい」という発言から、継続利用を予測すること - 未利用者を意欲の低い人、または対象外とみなすこと - 今回の実施結果を生成AI単独の成果とすること - 今回の結果が他の会社員にも再現されると判断すること - 支払意思、商品成立、事業成立を判断すること --- 【条件差のため単純比較できないこと】 - 最初の2人はAI出力をそのまま受け取った。 - 3人目以降は、運営者による確認と必要に応じた修正が入り得る条件だった。 - 誰の出力が実際に修正されたか、どの程度修正されたかは記録されていない。 - 条件別の実施・未実施・未報告の内訳も整理されていない。 そのため、以下は単純比較できない。 - AI出力をそのまま提示した場合と、人が確認・修正した場合 - 生成AI単独の成果と、人を含む提供方法の成果 - 修正前後の実施しやすさや実施結果 また、提示あり・なし、1つ提示・複数提示の比較条件は存在しない。 --- 【検証条件によって結果が歪んだ可能性がある点】 - 提供条件が途中で変更され、5人全員が同一条件ではなかった。 - 修正履歴がないため、人の介在による影響を切り分けられない。 - 実施確認が自己申告のみであり、完了状態や所要時間を確認していない。 - 好意的な感想は主に実施者から得られており、未利用者・離脱者・未報告者の評価が不足している。 - 行動受領者5人のみを分母にすると、行動提示前に止まった3人が結果に反映されない。 - 利用前の迷い、行動意欲、通常時の行動状況が測定されていない。 - 事前の成功基準がなく、結果を成功・失敗に照らして評価できない。 - 検証期間は1週間であり、長期的な利用状況は含まれていない。 --- 【次の意思決定へ渡す重要事項】 - 中心的な結果は、**人による確認・修正を含む可能性がある「次の行動を1つ提示する体験」で、受領者5人中3人から実施の自己申告が得られたこと**である。 - 実施者からは、考える負担の少なさ、1つだけ提示される分かりやすさ、実施のしやすさに関する好意的な発言が得られた。 - 一方、1人は疲労により未実施、1人は結果不明であり、行動提示だけでは実施に至らないケースと、結果を追えないケースもあった。 - 案内者8人のうち3人は最初の行動提示まで到達していない。理由が不明なため、対象外として除外できない。 - 5人中3人は自己申告ベースの観測結果であり、客観的な完了確認ではない。 - AI出力の扱いが途中で変わっているため、結果を生成AI単独の性能に帰属できない。 - 事前の成功基準がないため、今回のMVPを成功または失敗とは判定できない。 - 現時点での位置づけは、**解決方向を支持する初期的な事例は得られたが、有効性、因果関係、再現性、対象範囲、AIと人の寄与は未確定**というものである。 - 継続利用、支払意思、商品・事業としての成立は今回の結果から判断できない。 --- 【次の行動】 1. 8人それぞれについて、未入力・行動未受領・未実施・未報告・実施報告・2回目受領を区別し、記録状態を確定する。 2. 既存記録を確認し、各利用者に対するAI出力の修正有無、修正前後の内容、条件別の結果を可能な範囲で整理する。 3. 既に取得済みの情報から、未回答・未報告・未取得・原因不明を区別し、推測を確認済み事実から分離する。 4. 今回確認できた事実、未確認事項、条件差、一般化できない範囲を一つの判断資料に統合する。 5. 成功・失敗、継続・撤退を決めず、上記の制約を明記した分析結果を次の意思決定フローへ渡す。

【今回試したMVP】 小規模なWeb制作会社・受託開発会社向けに、 案件情報を生成AIで整理するMVPを試しました。 顧客からメール、チャット、議事録などの案件情報を受け取り、 生成AIで、 ・決定事項 ・TODO ・未決事項 ・担当者 ・期限 を整理して返す方式です。 【対象顧客】 複数案件を同時に担当している Web制作会社・受託開発会社のディレクターやプロジェクト担当者。 【今回検証した仮説】 ・生成AIが実案件情報を実用的な形で整理できる ・AI出力を確認・修正する方が、最初から手動整理するより負担が小さい ・整理結果を案件状況の確認に使える ・顧客は検証に必要な案件情報を提供できる 継続利用、支払意思、SaaSとしての成立は今回の中心仮説にはしていません。 【実際に提供した体験】 ・顧客から案件情報を受け取る ・運営者がその情報を生成AIへ手動入力する ・AIが決定事項、TODO、未決事項、担当者、期限を整理する ・整理結果を顧客へ返す ・顧客が内容を確認し、誤りや不足を指摘する ・普段の方法より負担が減ったか確認する 【検証人数・期間など分かっている条件】 7社にMVP利用を案内しました。 そのうち、 ・3社が案件情報の提供まで進んだ ・2社は「案件情報を外部に渡せない」として辞退 ・1社は案内後に返信がなかった ・1社は興味はあると答えたが、実際の案件情報は提供しなかった 検証期間は2週間でした。 事前に成功率や合格ラインは設定していません。 【実際に利用した人の状況】 案件情報を提供した3社について、 ・1社はAI整理結果を「そのままでもかなり使える」と評価 ・1社は複数箇所の修正が必要だった ・1社は「このままでは業務では使いにくい」と評価 3社とも整理結果の確認までは行いました。 【利用しなかった人の状況】 ・2社は案件情報を外部に渡せないとして辞退 ・1社は案内後に返信なし ・1社は興味を示したが、案件情報は提供しなかった 返信がなかった会社と、 興味を示したが提供しなかった会社について、 理由は確認できていません。 【確認できた行動】 ・3社が実案件情報を提供した ・3社とも整理結果を確認した ・3社とも誤りや不足について何らかのフィードバックをした ただし、 実際にその整理結果を案件管理へ継続利用したかは確認していません。 【顧客から出た感想・発言】 A社： 「そのままでもかなり使える」 「最初から整理するよりは楽」 B社： 「TODOは使えたが、担当者と期限は間違いがあった」 「確認作業が思ったより必要だった」 C社： 「抜けが多く、このままでは業務では使いにくい」 「自分で整理した方が早い気がする」 案件情報を提供しなかった2社からは、 「外部サービスに案件情報を出せない」と言われました。 【期待していた変化】 ・手動整理より負担が減る ・案件状況を確認しやすくなる ・AI整理結果を実務で使える 【実際に確認できた変化】 A社は「最初から整理するより楽」と話しました。 B社は「確認作業が思ったより必要だった」と話しました。 C社は「自分で整理した方が早い気がする」と話しました。 ただし、 手動整理とAI利用時の作業時間は実測していません。 【確認できた顧客負担】 ・B社では複数箇所の確認・修正が必要だった ・C社では抜けが多いという評価だった ・2社は案件情報を外部へ提供できなかった 具体的な修正時間や作業時間は測っていません。 【途中で離脱・未利用になったケース】 ・2社は案件情報を提供する前に辞退 ・1社は案内後に返信なし ・1社は興味を示したが案件情報を提供しなかった 【顧客本人から確認できた理由】 確認できている理由は、 ・2社が「案件情報を外部に渡せない」として辞退したこと です。 返信がなかった1社と、 情報提供しなかった1社の理由は確認できていません。 【利用者側で考えている原因仮説】 ・AIの精度がまだ低すぎるのではないか ・企業向けでは案件情報を外部に出せないことが大きな障害なのではないか ・A社のような顧客だけを対象にすれば成立するのではないか ・C社は案件情報の形式が複雑すぎたのではないか ・B社とC社はAIに渡した情報量が多すぎたのかもしれない いずれも確認できていません。 【検証途中で変えた条件】 A社とB社では、 案件情報をほぼそのまま生成AIへ入力しました。 C社では、 入力前に運営者が明らかな重複部分を削除してから生成AIへ渡しました。 また、 A社とB社ではAI出力をそのまま返しましたが、 C社では運営者が誤字だけ修正してから返しました。 それ以外の修正はしていません。 【今回取得できなかった情報】 ・手動整理にかかる実測時間 ・AI利用時の確認・修正時間 ・案件情報の形式ごとの違い ・入力情報量の違いによる影響 ・A社、B社、C社での案件難易度の違い ・整理結果をその後実務で継続利用したか ・情報提供をしなかった1社の理由 ・返信がなかった1社の理由 ・支払意思 ・長期継続 【自分では成功・失敗をどう感じているか】 7社中、実際に使ったのは3社だけで、 そのうち1社しか明確に良い反応ではなかったため、 かなり悪い結果だったように感じています。 AI整理サービス自体が難しいのではないかと思う一方で、 A社では使えたため、 A社のような企業だけを対象にすればよいのではとも考えています。 また、 案件情報を外部に出せない会社は、 そもそも対象外にしてもよいのではないかとも思っています。 【今回特に判断したいこと】 ・今回の結果を「失敗」と考えてよいか ・AI整理そのものに問題があると言えるか ・A社だけを成功例として重視してよいか ・案件情報を外部に出せない会社は対象外としてよいか ・B社、C社の悪い結果をどう扱うべきか ・条件変更の影響をどう扱うべきか ・何が今回確認でき、何がまだ未確認なのか

【今回検証したMVP】 小規模なWeb制作会社・受託開発会社のディレクター、プロジェクト担当者を対象に、メール、チャット、議事録などの実案件情報を生成AIで整理するMVPを検証した。 整理項目は以下の5つ。 - 決定事項 - TODO - 未決事項 - 担当者 - 期限 顧客から案件情報を受け取り、運営者が生成AIへ手動入力し、整理結果を顧客へ返却した。顧客には内容を確認してもらい、誤りや不足、普段の方法と比べた負担感を確認した。 今回検証したのは運営者が介在する手動提供方式であり、自動化されたSaaSの利用体験ではない。 --- 【今回検証した主要仮説】 1. 生成AIが実案件情報を実用的な形で整理できる 2. AI出力を確認・修正する方が、最初から手動整理するより負担が小さい 3. 整理結果を案件状況の確認に使える 4. 顧客は検証に必要な案件情報を提供できる 以下は今回の中心的な検証対象ではなかった。 - 継続利用 - 再利用 - 支払意思 - 長期継続 - SaaSとしての商品成立 - 事業としての成立 --- 【実際に確認できた行動】 - 検証期間は2週間だった。 - 7社にMVP利用を案内した。 - 3社が実案件情報を提供した。 - 情報を提供した3社すべてが、AI整理結果を確認した。 - 3社すべてが、誤りや不足について何らかのフィードバックを行った。 - 2社は、案件情報を外部に渡せないとして、情報提供前に辞退した。 - 1社は案内後に返信しなかった。 - 1社は興味を示したが、実案件情報を提供しなかった。 - 情報提供した3社について、結果確認後に実務利用、再利用、継続利用したかは確認されていない。 --- 【顧客から確認できた反応】 ### A社 - 「そのままでもかなり使える」 - 「最初から整理するよりは楽」 A社では、実用性と負担軽減に関する肯定的な主観評価が得られた。ただし、実際の時間短縮、実務利用、継続利用までは確認されていない。 ### B社 - 「TODOは使えたが、担当者と期限は間違いがあった」 - 「確認作業が思ったより必要だった」 TODOには部分的な有用性が認められた一方、担当者・期限の誤りと確認負担が指摘された。 ### C社 - 「抜けが多く、このままでは業務では使いにくい」 - 「自分で整理した方が早い気がする」 実務利用と負担軽減に対して否定的な主観評価が得られた。ただし、手動整理との作業時間比較は行われていない。 ### 情報提供前に辞退した2社 - 「外部サービスに案件情報を出せない」 - 「案件情報を外部に渡せない」 今回の情報受け渡し方式に対する明確な利用障壁が確認された。 --- 【確認できた顧客負担】 - 3社すべてで、AI整理結果を確認する作業が発生した。 - B社では、担当者と期限を含む複数箇所の確認・修正が必要だった。 - B社は、確認作業が想定より必要だったと評価した。 - C社では、出力の抜けを確認する作業が発生した。 - C社は、自分で整理した方が早い可能性を感じたと評価した。 - A社は、最初から整理するより楽だったと評価した。 - 2社では、案件情報を外部に提供すること自体が利用開始を妨げた。 一方、以下の負担は測定されていない。 - 案件情報を準備・選別・送付する負担 - 結果確認にかかった時間 - 修正にかかった時間 - フィードバックを報告する負担 - 運営者側の前処理、AI入力、返却にかかった時間 - 手動整理とAI利用を比較した総作業時間 --- 【未利用・離脱・期待未達の状況】 - 2社は外部提供制約を理由に、利用開始前に辞退した。AI整理結果を受け取っていないため、出力品質の評価対象にはできない。 - 1社は興味を示したが情報提供まで進まなかった。理由は不明である。 - 1社は案内後に返信しなかった。未利用理由は確認できておらず、拒否や需要なしとは扱えない。 - B社は結果確認まで完了したため、途中離脱ではない。ただし、担当者・期限の誤りと確認負担があり、負担軽減の明確な達成は確認できなかった。 - C社も結果確認まで完了したため、途中離脱ではない。ただし、実務利用と負担軽減について期待未達の評価だった。 - 情報を提供した3社について、利用開始後の途中離脱は確認されていない。 - その後の継続利用は追跡されていないため、「継続利用されなかった」とは判断できない。 --- 【未回答・未確認・データ不足の状況】 ### 未回答・理由未確認 - 案内後に返信がなかった1社の理由 - 興味を示したが情報提供しなかった1社の理由 ### 行動未確認 - 3社が整理結果を案件状況の確認に使ったか - 3社が実際の案件管理に利用したか - 修正後の結果を保存、共有、転記したか - 別案件で再利用したか - 継続利用したか - 再利用意思があったか ### データ未取得 - 手動整理の実測時間 - AI利用時の確認・修正時間 - 情報提供準備を含む顧客側の総負担 - 運営者側の作業時間 - 各社の入力情報量 - 案件情報の形式 - 案件難易度 - 項目別の誤り・抜けの件数 - 誤りの重大性 - 許容できる精度や修正量 ### 今回の検証対象外 - 支払意思 - 購入行動 - 長期継続 - SaaSとしての商品成立 - 事業としての成立 --- 【確認済みの原因】 確認できたのは、以下の直接的な理由・評価要因までである。 - 2社については、案件情報を外部に渡せないことが、今回の方式で利用開始できなかった直接の理由だった。 - B社では、担当者と期限の誤りにより複数箇所の確認・修正が必要となり、「確認作業が思ったより必要だった」という評価につながった。 - C社では、出力に抜けが多かったことが、「このままでは業務では使いにくい」「自分で整理した方が早い気がする」という評価につながった。 - A社では、AI整理結果を確認する方法が、本人の主観上「最初から整理するより楽」と評価された。 ただし、誤りや抜けが生じた根本原因までは確認されていない。 --- 【まだ原因不明のもの】 - A社・B社・C社で評価が分かれた理由 - B社で担当者と期限に誤りが出た理由 - C社で抜けが多くなった理由 - AI性能、入力情報量、情報形式、案件難易度、入力方法のどれが結果へ影響したか - A社の好意的評価を生んだ顧客属性や案件条件 - 興味を示した1社が情報提供しなかった理由 - 1社から返信がなかった理由 - C社だけに行った重複削除や誤字修正の影響 - 外部提供できない2社が、異なる情報処理条件であれば利用できたか - 3社がその後に利用した、または利用しなかった理由 --- 【支持する事実がある仮説】 ### 生成AIが実案件情報を実用的に整理できる - A社は「そのままでもかなり使える」と評価した。 - B社ではTODOが使えると評価された。 ### AI出力の確認・修正の方が手動整理より負担が小さい - A社は「最初から整理するよりは楽」と評価した。 ### 整理結果を案件状況の確認に使える - A社から、結果を「そのままでもかなり使える」という評価が得られた。 - ただし、実際に案件状況の確認へ使った行動は未確認である。 ### 顧客は検証に必要な案件情報を提供できる - 7社中3社が実案件情報を提供した。 ### 外部への案件情報提供が利用障壁になる - 2社では、外部提供制約が利用開始を妨げた直接の理由だった。 --- 【反する事実がある仮説】 ### 生成AIが実案件情報を実用的に整理できる - B社では担当者と期限に誤りがあった。 - C社では抜けが多く、業務では使いにくいと評価された。 ### AI出力の確認・修正の方が手動整理より負担が小さい - B社では確認作業が想定より必要だった。 - C社では自分で整理した方が早い可能性を感じたと評価された。 ### 整理結果を案件状況の確認に使える - B社では、担当者・期限をそのまま使えず、修正が必要だった。 - C社では、そのままでは業務で使いにくいと評価された。 ### 顧客は検証に必要な案件情報を提供できる - 2社は外部提供制約により提供できなかった。 - 興味を示した1社も、実際の情報提供には至らなかった。 --- 【支持・反証が混在している仮説】 - **生成AIが実案件情報を実用的に整理できる** - A社では肯定、B社では一部有用、C社では否定的な評価となった。 - **AI出力を確認・修正する方が、手動整理より負担が小さい** - A社では肯定的、B社では確認負担が問題となり、C社では否定的だった。 - **整理結果を案件状況の確認に使える** - 利用可能性に関する肯定・否定両方の評価があるが、実際の利用行動は未確認である。 - **顧客は検証に必要な案件情報を提供できる** - 提供できた会社と、今回の方式では提供できなかった会社の両方が存在した。 - **AIの精度が低すぎるのではないか** - B社・C社では品質上の問題があった一方、A社ではそのままでもかなり使えると評価された。 - **外部提供が企業向けの大きな障害ではないか** - 2社では明確な障害だった一方、3社は情報を提供できた。 --- 【判断材料が不足している仮説】 - A社のような顧客だけを対象にすれば成立する。 - A社型を判別する属性や条件、結果の再現性、継続利用、支払意思が確認されていない。 - C社の案件情報の形式が複雑すぎたため、結果が悪かった。 - 各社の情報形式を記録・比較していない。 - B社・C社では情報量が多すぎたため、誤りや抜けが発生した。 - 各社の入力情報量を記録・比較していない。 - C社への重複削除や誤字修正が結果に影響した。 - 変更前後を比較していないため、影響の有無や方向を判断できない。 - 外部に情報を出せない企業を対象外にすべきである。 - 今回確認できたのは、2社が今回の方式を利用できなかったことまでであり、対象外にすることの妥当性は検証していない。 --- 【今回確認できたこと】 - 実案件情報の提供から、AI整理結果の確認・フィードバックまで進む会社が存在した。 - 生成AIによる整理結果が、そのままでもかなり使えると評価されたケースが存在した。 - TODOのみ部分的に使えると評価されたケースが存在した。 - 担当者・期限の誤りや情報の抜けが、確認・修正負担や否定的評価につながるケースが存在した。 - 今回の方法による出力品質と負担感は、3社で一様ではなかった。 - 外部への案件情報提供を前提とする方式が、少なくとも2社で利用開始を妨げた。 - 今回の主要仮説には、支持する事実と反する事実の両方が存在する。 - 事前基準がないため、今回全体を定義済みの基準で成功・失敗に分類することはできない。 - 現段階は、限定的な成立例、部分的な有用性、品質上の問題、提供方式上の障壁が同時に確認された状態である。 --- 【今回まだ確認できないこと】 - AI利用が手動整理より客観的に短時間・低負担か - 確認・修正を含む総作業負担が減ったか - 整理結果が案件状況の確認に実際に使われたか - 整理結果が案件管理に役立ったか - A社の結果が別案件や他社でも再現するか - B社・C社の結果が修正後には実務利用可能だったか - 評価差の原因がAI性能、情報量、形式、難易度のどれか - A社型の顧客や案件を事前に識別できるか - 外部提供できない企業が、別の条件でも利用できないか - 継続利用、再利用、支払意思、長期継続 - SaaSや事業として成立するか - 今回のMVP全体を成功または失敗のどちらかに確定できるか --- 【今回の結果から一般化できないこと】 - 対象顧客全般でAI整理が実用的であること - 対象顧客全般でAI整理が実用にならないこと - AI整理の精度が一律に低すぎること - AI利用によって平均的に負担が減る、または増えること - A社のような企業に限定すれば成立すること - B社・C社のような企業を対象外にすべきであること - 外部提供制約が企業向け市場全体の主要障壁であること - 外部提供できない企業を対象外にすることが妥当であること - 未返信や未提供が、需要なしや否定的評価を意味すること - 好意的な発言が、継続利用や支払意思を意味すること - 3社の結果が、対象市場を代表していること - 結果に再現性があること --- 【条件差のため単純比較できないこと】 - A社・B社では、案件情報をほぼそのまま生成AIへ入力した。 - C社では、入力前に運営者が明らかな重複部分を削除した。 - A社・B社では、AI出力をそのまま返した。 - C社では、運営者が誤字を修正してから返した。 - したがって、C社とA社・B社を完全な同一条件として比較できない。 - 各社の情報形式、情報量、案件難易度も記録・統制されていないため、3社の評価差をAI性能や企業属性だけの差として扱えない。 - 手動整理とAI利用について、同一案件・同一基準による時間比較をしていないため、負担差も単純比較できない。 --- 【検証条件によって結果が歪んだ可能性がある点】 - C社だけ、入力前の重複削除が行われた。 - C社だけ、返却前の誤字修正が行われた。 - 条件変更がC社の結果を改善したか悪化させたかは不明である。 - 顧客ではなく運営者がAI入力を代行したため、顧客自身が利用する場合の入力・操作負担が観測されていない。 - 3社は検証協力として確認とフィードバックを行っており、通常業務でも同じ行動を取るかは不明である。 - 成功基準、許容誤差、許容修正時間が事前に設定されていない。 - 作業時間、項目別精度、情報量、情報形式、案件難易度が記録されていない。 - 3社・2週間の結果であり、反復利用や長期利用は観測されていない。 これらが結果に影響した可能性はあるが、影響の有無や方向は確認できない。 --- 【次の意思決定へ渡す重要事項】 - 7社中3社が、実案件情報の提供から結果確認・フィードバックまで完了した。 - 2社は、外部提供制約により利用開始前に辞退した。 - 未利用4社のうち、理由が確認できたのは2社のみである。残る2社を需要なしとは扱えない。 - A社では全体的に肯定的な評価が得られたが、1社・1回の結果であり、再現性や継続利用は未確認である。 - B社ではTODOに部分的な有用性があった一方、担当者・期限の誤りと確認負担があった。 - C社では抜けが多く、実務利用と負担軽減に否定的な評価だった。 - B社・C社の結果を無視してA社だけを成功例として扱うことも、B社・C社だけからAI整理全体を失敗とすることもできない。 - AI整理そのものの問題と、入力条件・案件条件・提供条件の問題は切り分けられていない。 - 客観的な作業時間、総負担、実務利用、継続利用は確認できていない。 - C社のみ処理条件が異なるため、3社を同一条件の結果として単純合算・比較できない。 - 今回の結果は、「限定的な成立例」「部分的な有用性」「品質上の未達」「外部提供方式の障壁」が同時に確認されたものとして扱う必要がある。 - 今回のデータだけで、MVPの継続・変更・撤退、顧客の対象外設定、商品・事業成立を判断することはできない。 --- 【次の行動】 1. 7社それぞれについて、「利用完了」「利用開始前の辞退」「未提供」「未回答」「理由確認済み」「理由未確認」を分けて記録する。 2. A社・B社とC社を、入力前処理・返却前修正の条件が異なる結果として分けて整理する。 3. 既存記録から確認可能な範囲で、各社の入力情報量、情報形式、修正箇所、実務利用の有無を確認し、未取得項目と区別する。 4. 主要仮説ごとに、支持事実、反する事実、未確認事項、条件上の制約を対応づけて確定する。 5. 成功・失敗を確定せず、確認済み事項、原因不明事項、一般化できない事項を明示した状態で次の意思決定フローへ渡す。