Dev Intel: AIバグは形で潰す

Obvious/Subtle/DangerousでLLM失敗を分類し、prompt・hook・test・承認ゲートの置き場所を決める。

Generated: 2026-05-21T12:03:55+09:00

Lane: 開発ネタ発掘

Why this is useful: 健人くんの OpenClaw/ひめの運用では、LLMの失敗を「なんか違う」ではなく、どのフィードバックループで捕まる失敗かに分けると、prompt・hook・test・承認ゲートの置き場所を決めやすい。

What I made/changed: Zenn の Claude Code 記事と Codex skills/skills-marketplace 系の情報を読み、OpenClaw に盗める「AIバグの形を先に宣言する」設計メモと View を作る。

Sources/Evidence: https://zenn.dev/neotechpark/articles/cdd47b897d0ed7 / https://github.com/ComposioHQ/awesome-codex-skills / https://developers.openai.com/codex/skills

Harness component: prompt + acceptance gate

Failure category: agent output can look right while optimizing for the wrong frame

Gate owner_value_gate: pass — heartbeat品質、朝刊、外部調査、コード修正の全部に効く実装パターン

Gate external_action_gate: pass — read-only web fetch と local artifact 作成のみ

Gate view_source_gate: pass — View includes source URLs

Gate handoff_state_gate: pass — next safe action is local prompt/template extraction, not external send

Prediction: OpenClaw の依頼テンプレに「避けたいバグ形状」を1行足すだけで、LLMが勝手に成功条件を作る事故を減らせる。特に外部送信・本番変更・調査要約は Dangerous 扱いにして acceptance/source/approval を必須化するのが効く。

Verify by: View の sources が開けること、artifact が required shape を満たすこと、通知本文だけで「何を試すか」が分かること。

Observed: source-backed artifact created; View render pending at write time.

Next safe action: task prompt / heartbeat artifact / daily news のテンプレへ、bug_shape と acceptance を optional ではなく短い必須欄として入れる。

Notify: yes — source-backed finding with a directly stealable operating rule

見つけた信号

Zenn の「How to Use Claude Code Without Shipping AI Bugs to Production」は、AI由来のバグを3つに分けている。

• Obvious: editor/typecheck がすぐ拾う
• Subtle: happy path は動き、ユーザーや本番で出る
• Dangerous: diff はもっともらしいが、存在しない仕様・API・契約を作ってしまう

記事の実用ポイントは、プロンプトを長くすることではなく、Intent / Context / Constraints / Acceptance / Format を埋めて、モデルが勝手に決める余白を減らすこと。特に Acceptance はそのままテストにできる入力/出力で書く。

Codex skills 側でも、skill は単なる長文プロンプトではなく、タスク固有の手順・制約・検証を遅延ロードする束として扱われる。つまり「毎回気をつける」より、失敗形状ごとの小さい skill/hook/template に落とす方が再利用できる。

健人くんが気にしそうなところ

OpenClaw/ひめのの最近の失敗は、Obvious ではなく Subtle/Dangerous 寄りが多い。

• Xの訳文を原文として扱う
• 天気/日経/予定なしの根拠が薄いまま朝刊に出る
• 「なおして」に対して過剰にXを消し、期待と違う方向に直す
• 画像生成指定なのに、実画像ではない代替物を出す

これらはコードの syntax ではなく、「成功条件をLLMが勝手に作った」事故。だから依頼・artifact・通知の最初に bug_shape を置くと、どのゲートを厚くするかを決めやすい。

盗むなら

OpenClaw の内部テンプレに、短い欄を足すのが良さそう。

bug_shape: obvious | subtle | dangerous
acceptance:
- concrete input/source/state
- expected output/behavior
- forbidden shortcut
verification:
- command, source link, screenshot, or human approval gate

外部送信、金融・面接・調査要約、X原文、天気、日経、食事推定は最初から Dangerous 扱い。コードの小修正でも、ユーザーが何度も直しているUIや本番反映は Subtle 以上に上げる。

これを入れると「頑張って正確に」ではなく、「この種の事故を避けるには何を検証すべきか」に会話が寄る。

Sources

• Zenn: https://zenn.dev/neotechpark/articles/cdd47b897d0ed7
• GitHub: https://github.com/ComposioHQ/awesome-codex-skills
• OpenAI Codex skills: https://developers.openai.com/codex/skills