Experiment

ChatGPT Automation × Codex Desktop App で AI Compass Journal の記事更新は自動化できるか?

PR #56 の実行結果をもとに、記事生成、ファイル編集、ローカル検証、GitHub 反映までのどこが自動化でき、どこで人間の介入が必要だったかを整理した初回実験です。

実験データを見る実験一覧へ

実施日

2026年5月20日

カテゴリ

自動化する

タグ

#自動化 #ChatGPT Automation #Codex #サイト運営 #実験

Hypothesis

仮説

個人の AI 活用サイトの記事更新は、ChatGPT Automation と Codex Desktop App を組み合わせることで、記事案の生成・ファイル編集・ローカル検証までは高い割合で自動化できる。一方で、品質確認・GitHub への反映・マージ判断は、人間が担う必要が残ると予想する。

Method

方法

ChatGPT Automation の Run now から Codex Desktop App に AI Compass Journal の planned ユースケース公開タスクを渡し、Codex が main 最新化、ブランチ作成、ファイル編集、ローカル検証、push / PR 作成まで進められるかを確認した。対象は PR #56 で、selected slug は explain-technical-terms、変更ファイルは src/data/aiUseCases.ts、src/data/articleBacklog.ts、src/data/updates.ts の3件だった。

対象: ChatGPT Automation
対象: Codex Desktop App
対象: GitHub PR 作成
対象: Vercel Preview

Success criteria

成功条件(実測前に固定)。

結論を先取りしないため、実験前にどうなれば成功かを定義しています。

1Run now から処理が自動開始する
2Codex が対象ファイルを編集する
3記事追加 PR が自動で立つ
4lint / typecheck / build が通る
5note 本文の転載や未確認情報の断定がない
6人間が全面的に書き直さなくてもレビュー可能な品質になっている
7マージすれば公開できる状態になっている

自動化率

50%

(n=1 初回検証)

自動化率の算出方法。

自動化率は、Run now 起動後に自動完了した工程数を、検証対象工程数で割って算出する。検証対象工程は、処理開始、ファイル編集開始、必要ファイル更新、PR 作成、CI 実行、マージ可能状態の 6 工程とする。今回は Codex / Automation だけで自動完了した工程が 3 / 6 だったため、50% とした。マージ判断は安全上、人間の役割として自動化率には含めない。

Data

測定値・データ。

実験で実測したデータです。値は再現可能で、各試行のログから集計しています。

項目	値	単位
selected slug	explain-technical-terms
relatedUseCaseSlug	explain-technical-terms
referenceUseCaseSlug	build-ai-agent-skill-file
対象 PR	#56
元ブランチ	codex/publish-planned-use-case-detail
元 commit	384283b feat(use-case): publish explain-technical-terms detail page
変更ファイル数	3	files
自動完了工程	3 / 6	steps
automationRate	50	%
npm run lint	PASS
npm run typecheck	PASS
npm run build	PASS
npm run validate-content-assets	PASS
npm run validate-experiment-config	対象外 / config.yml 引数必須のため今回の通常検証から除外

失敗ケース

GitHub HTTPS 認証なしで git push が失敗した1 件

fatal: could not read Username for 'https://github.com': No such file or directory

GitHub connector の branch 作成が 403 Resource not accessible by integration で拒否された1 件

GitHub API error 403: Resource not accessible by integration

PR 作成は人間の補助が必要だった1 件

Execution log considerations

Codex と人間による考察。

実行ログをもとに、Codex 側で自動化できた範囲と、人間が補助した範囲を分けて整理します。最終的な「統合考察」は、今回確認できた事実に絞って残しています。

Codex(GPT)

自動化できた範囲

planned ユースケースの選定、必要ファイルの編集、lint / typecheck / build / validate-content-assets のローカル検証までは Codex が完了した。記事内容も note 本文の転載ではなく、HP向けの再現手順として成立した。

Codex(GPT)

停止した範囲

GitHub への push と PR 作成は、HTTPS 認証と connector 権限で停止した。これは記事生成能力の問題ではなく、リポジトリへ書き込む認証・権限設計の問題として分けて扱う必要がある。

筆者

運用判断

現時点では、AI が記事更新の下準備を行い、人間が push、PR 作成、レビュー、マージ判断を担う運用が現実的。完全自動化を目指す前に、書き込み権限と公開判断の境界を明確にする必要がある。

統合考察

実行ログから確認できた点。

記事生成・ファイル編集・ローカル検証までは自動化できた。一方で、GitHub への push / PR 作成は認証で止まり、完全自動化には至らなかった。現時点では「記事更新の下準備を自動化し、人間がPR化と公開判断を担う」運用が現実的。

Next steps

次に試すこと。

この実験を踏まえて、来週以降に試したい仮説です。

Codex / GitHub の push 権限を整理する
PR 作成まで自動化できる設定を検証する
2回目以降の実験で automationRate が改善するか測定する
Search Console 登録後、実験記事の流入を確認する

Reproduction

再現手順。

同じ条件であなたが手元で再現できる手順です。データに納得できなければ、ぜひ自分で試してみてください。

1GitHub リポジトリを main 最新状態にする
2ChatGPT Automation または Codex Desktop App に記事公開タスクを投げる
3planned ユースケースを 1 件選ばせる
4詳細ページ化に必要なデータファイルを編集させる
5lint / typecheck / build / validate-content-assets を実行する
6GitHub への push / PR 作成ができるか確認する
7PR を人間がレビューし、問題なければマージする