2026-09-24
Full AI
Claude Opus 5.5 vs GPT-6-Astra 6番勝負ベンチマーク（ISUCON14・姫路城3D・切り抜き・ゲーム・絵本・140字） ... users
はじめに
Claude Opus 5.5 と GPT-6-Astra（以下 Astra）を、性格の違う6つの課題で比べました。 パフォーマンスチューニング、3D、画像理解、ゲーム企画、絵本、超短編小説です。
勝敗は、ISUCONだけはベンチマーカーのスコアで機械的に決め、それ以外の5課題は人間（kazuph）が実物を触って判定しました。 講評は、kazuphのコメントがある課題はその言葉を載せ、ない課題は筆者（この記事を書いている Opus 5.5）が書いています。 筆者は比較対象の一方と同じモデルです。そのため判定には関わらせず、講評の中でも自分の側に甘くならないよう事実ベースで書きました。
RESULT ・ 6課題
ISUCON14は Astra の勝ち。姫路城・ゲーム・STEM絵本は Opus 5.5 の勝ち。切り抜きと140字は引き分けでした。
| 課題 | 勝者 | 決め手 |
|---|---|---|
| ISUCON14（30分・ベンチ10回まで） | Astra | 最終の公式計測で Astra は 152,416点で合格。Opus は 92,544点を出したものの不合格（0点扱い） |
| 姫路城の3Dジオラマ | Opus 5.5（圧勝） | 縄張り（城全体の配置）ごとの再現度。Astra は精巧に見えるが再現度が低い |
| Xで一番バズるゲーム | Opus 5.5 | 実績のある「精度チャレンジ」を5つ束ね、シェア用の画像カードまで作り込んだ |
| 子ども向けSTEM絵本 | Opus 5.5 | Opus は絵をSVGで自作し、影の向きを太陽位置の計算から描いた。Astra は日本語が読み聞かせに耐えない不自然さで、絵も絵文字の配置にとどまった |
| 写真・イラストの座標切り抜き | 引き分け | 座標の精度は互角。資料の分かりやすさも甲乙つけがたい |
| 140字ショートショート | 引き分け | 両作ともオチの論理が一文ぶん足りず、唸れなかった |
比較条件
- モデル：Claude Opus 5.5（Claude Code 2.1.280）と GPT-6-Astra（Codex CLI 0.156.1）。推論レベルはどちらも medium。
- 実行方法：課題ごとに独立したセッションを Herdr のペインで起動しました。ISUCON以外の5課題は2モデルを並列で、ISUCONはベンチマーク結果が干渉しないよう1モデルずつ順番に走らせています。
- 権限：どちらも承認確認なしの自律モードです（Claude Code は権限確認スキップ、Codex は承認・サンドボックスのバイパス）。最初の試行で Codex が権限確認モードのまま起動していたため、その試行は両モデルとも破棄してやり直しました。
- 依頼文：両モデルに同じ文面を送りました（作業ディレクトリのパスだけが違う）。原文は
benchmark_sources/opus55-vs-astra/prompts/にあります。 - 委任の禁止：他のAIや子エージェントへの再委任は禁止しました。Opus側のセッションログを監査し、委任が0回だったことを確認しています。
1. ISUCON14：Astra の勝ち
ISUCONは、Webアプリを制限時間内にどこまで速くできるかを競うチューニング大会です。 公開されている問題で最新の ISUCON14（配車サービス「ISURIDE」）を使いました。ISUCON15 は開催されておらず、次回の ISUCON2026 は2026年10月31日開催予定のため、問題はまだ公開されていません。
環境：Mac の Apple container 上に Ubuntu 24.04 のコンテナを1台（2 vCPU／メモリ4GB）立て、MySQL・nginx・Go実装・マッチャー（配車処理を定期的に呼ぶループ）を同居させました。ベンチマーカーは Mac 側で動かしています。初期実装のスコアは 6,448点です。
ルール：持ち時間は30分、ベンチマーク実行は10回まで。競技中に ISUCON に関する情報を検索することは禁止で、後でセッションログを監査すると事前に伝えました。監査の結果、両モデルとも Web検索・外部URLへのアクセスは0件でした。
勝敗の決め方：30分の終了後、筆者がコンテナを作り直して（DBも初期化）公式ベンチを1回だけ走らせ、その記録を最終スコアにしました。本番ISUCONの追試と同じ考え方です。
グラフの左側は、各モデルが持ち時間の中で自分で回したベンチ10回です（●が合格、×が不合格）。Astra の最後の×は、10回目に試した変更で 148,211点を出したものの、接続リセットなどのエラーが増えて不合格になった回です。Astra はこの変更を撤回し、合格していた実装に戻して提出しました。 右側の灰色の領域は、筆者が行った公式計測です（★が合格、×が不合格）。最終スコアはこちらで決まります。
| 項目 | Opus 5.5 | Astra |
|---|---|---|
| 1回目に使った時間 | 15分20秒（10回を使い切って自主終了） | 27分29秒 |
| 自分で回したベンチの合格記録の最高 | 81,737 | 99,322 |
| 1回目の公式計測 | ❌ 20,478：ライド状態の通知の順序が崩れる並行処理バグ | ✅ 156,052：接続リセットなどのエラー67件 |
| 残り時間での延長 | 14分40秒で通知バグを修正 | 2分31秒で nginx の接続枠を拡張 |
| 最終の公式計測 | ❌ 92,544（不合格＝0点扱い）：ライドが長時間マッチングされない致命エラー | ✅ 152,416 |
延長ラウンドについて：1回目の公式計測で Opus が不合格だったため、kazuph の判断で「各自の30分の残り時間だけ、好きに使ってよい」延長を与えました。両者に同じ時間を足すと不公平になるので、Opus には14分40秒、Astra には2分31秒です。ベンチの追加実行は認めていません。時間になったらペインを閉じて強制終了し、その時点のディスク上の状態を公式計測し直しました。延長で渡した情報には差があります。Opus には公式計測ログのファイルの場所も伝え、Astra にはエラーの種類と件数だけを伝えました。
Astra は、30msごとにDBを見に行っていた通知を「状態が変わった時だけ送る」方式（SSE）に変え、配車の総移動時間を最小にするアルゴリズムで伸ばしました。高得点でも不合格だった候補は撤回して合格した実装に戻すなど、提出物の安全を優先していました。スコアの天井を追うより「落ちない実装を出す」判断をしたほうが勝った、という結果です。
- 各モデルの最終差分：Opus 5.5 ／ Astra
- コミット履歴とベンチ10回の記録：Opus 5.5 ／ Astra
- 公式計測ログ：isucon-judge/
2. 姫路城の3Dジオラマ：Opus 5.5 の圧勝
依頼は「3Dで姫路城のジオラマを作って」です。採点基準は、姫路城としての忠実性と、ジオラマとしての表現の2つだと伝えました。形状はコードで作ることとし、既存の3Dモデルやテクスチャ画像のダウンロードは禁止しています。 画像をクリックすると、その場で3Dが起動し、ドラッグで回転できます。
- Opus 5.5：城の敷地全体の縄張りを見せる作りです。大天守と3つの小天守を渡櫓で「口」の字につないだ連立式天守に加え、西の丸の百間廊下、菱の門、三国堀、備前丸まで配置しています。石垣は上ほど反り上がる形で、朝・昼・夕・夜（ライトアップ）の切り替えと名称ラベルがあります。
- Astra：天守の群れを大きく見せる卓上模型型です。五重の大天守、小天守3つ、渡櫓を台座の上に置き、銘板や桜まで作り込んでいます。
3. Xで一番バズるゲーム：Opus 5.5 の勝ち
依頼は「X（旧Twitter）で一番バズるゲームを作って」です。何を作るかから考えさせ、Web検索は自由、完成品は人間がプレイしてレビューすると伝えました。
- Opus 5.5「ぴったり検定」：「正円を描く」「体内時計」「色の記憶」「角度」「半分こ」という5種類の「ちょうど」を60秒で測り、人間精度を100点満点で採点します。問題は日付ごとに全員共通です。結果は称号、Wordle風の絵文字グリッド、5種目の証拠が並んだ16:9の画像カードになって、そのままXに流せます。
- Astra「読んだら負け。」：30秒で文字の色を答えるゲームです。5問正解するごとに「色を答える」と「書かれた文字を読む」のルールが反転し、誤答すると残り時間が3秒減ります。日替わり問題、自己ベスト、Xへの共有機能があります。
「読んだら負け。」は、ルールが反転する瞬間の混乱が面白く、30秒で再戦できる手軽さもあります。一方で、共有されるのは正解数のテキストが中心で、タイムラインで目を止める絵がありません。色と文字の読み違えを狙う題材自体も既視感が強めでした。
4. 子ども向けSTEM絵本：Opus 5.5 の勝ち
依頼は「子ども向けのSTEM絵本を1冊書いて」です。形式・対象年齢・テーマは自由ですが、画像生成（画像生成AIや画像生成ツールの利用）は禁止しました。
- Opus 5.5『ひなたと かげまる』：5〜8歳向けで、光と影がテーマです。表紙、12ページ、保護者向けページで構成されています。絵はすべてJavaScriptで組み立てたSVGで、影の向きと長さは東京の太陽の位置を計算して描いています。時刻と季節で影が動くしかけや、懐中電灯で影の大きさが変わるしかけ、日時計の作り方も付いています。
- Astra『ぺらぺらの はしと おやつの むこうがわ』：5〜8歳向けです。きつねとうさぎが紙の橋を作り、紙を増やさずに形を変えることで「形と曲がりにくさ」の関係を比べます。表紙、物語12ページ、親子で試せる実験2ページ、解説で全16ページです。HTML版とPDF版があります。挿絵は既存の Twemoji（CC BY 4.0）の絵文字画像を配置したもので、画像生成は使っていません。
題材そのものは良く、「紙の枚数ではなく形で強くする」は工学的な発想の核心を突いています。親子実験とPDFまで揃えた本としての作りも丁寧です。それでも、絵本の土台である日本語が崩れていては成り立ちません。
もう一つの差は絵です。Astra は画像生成禁止に対して既存の絵文字を置く解き方を選び、各ページが絵文字アイコン1〜2個と文章になりました。場面を描いた絵がないので、橋がしなる様子など、STEMとして一番見せたい現象が絵で伝わりません。Opus は絵をSVGで自作し、しかも影の描画そのものを太陽位置の計算で作っています。テーマの「光と影」を、読み物と科学の両面で成立させました。
5. 写真・イラストの座標切り抜き：引き分け
最初に、Astra の画像生成機能で素材を2枚作りました。お題は「一般的な日本の大学生女性の街角スナップ」で、写真風とイラスト風の2枚です。架空の人物で、切り抜き対象の9要素（顔、トートバッグ、スマートフォン、コーヒーカップ、スニーカー、日本語の看板、自動販売機、自転車、横断歩道か信号機）がすべて写るよう指定しています。
依頼は「両画像から9要素の座標（バウンディングボックス）を特定して切り抜き、人間に分かりやすい切り抜き資料を作って」です。座標は自分の目で決めることとし、物体検出やセグメンテーションの学習済みモデル・外部APIは禁止しました（切り抜きと枠の描画にPillowを使うのは可）。
両モデルの枠を筆者が同じ画像に重ねて描いたのが下の図です。赤が Opus 5.5、青が Astra です。
資料は方向性が分かれました。Opus は冒頭に要約カード、「座標の見方」の図解、番号付きの凡例を置き、写真とイラストを切り替える全体図、マウスを乗せると枠が強調される切り抜きカード、2枚の座標比較表、判断メモ（看板が複数ある中で「さくら書店」の店名看板を選んだ理由など）と続きます。Astra は写真とイラストを最初から横に並べて同じ対象を見比べられるようにし、枠を選ぶとその切り抜きへ移動でき、座標データ（JSON）の保存ボタンも付けています。説明の手厚さは Opus、2枚の見比べやすさは Astra で、判定どおり引き分けが妥当です。
6. 140字ショートショート：引き分け
依頼は「140文字以内のショートショートを1本書いて。人間が読んで唸るものが書けるかを判定する」です。字数は筆者がスクリプトで数え直し、両作とも制限内であることを確認しました。
Claude Opus 5.5「笑い方」（115字）
それでも毎晩、仏壇の祖父に一日の報告をする。
「今日も親切な娘さんが来てくれたの。どこの子か知らないけど、笑い方があなたにそっくりでね」
翌日から私は、祖父の遺影を見ながら笑う練習をした。
GPT-6-Astra（無題・90字）
Astraの作品は、少年がこちらに向かって何かを叫び、咄嗟に撃ってしまった兵士の話として読めればよかったけれど、この日本語ではそうなっていません。さらに、少年の叫び声は「伏せて」ではなく、むしろ「お母さん逃げて」だったほうがオチとして良かった。自分を殺そうとしていない少年を殺して勲章をもらった苦い感じが欲しかったのに、それがありません。
Opusの作品も、すでに笑顔が祖父に似ているのに、さらに練習しても意味がありません。しかも孫娘なのに男性の祖父に似ているので弱い。どちらもオチが微妙でした。
補足すると、Astra の作品は「お母さん」を「ではなかった」側に置いて捨てており、一番強い材料を自分で潰しています。Opus の作品は、似ていないものを似せにいく構図であれば「練習」に意味が生まれたはずです。たとえば「祖母が孫を祖父の若い頃と取り違えて話しかけ、孫はそれに合わせて祖父の口ぐせを覚えた」のような形です。どちらも、オチの論理が一文ぶん足りていませんでした。
再現方法
依頼文（prompts/）、各モデルの成果物、ISUCONの差分・ベンチ記録・公式計測ログは、すべて benchmark_sources/opus55-vs-astra/ にあります。
ISUCON の競技環境は benchmark_sources/opus55-vs-astra/isucon-env/ に一式あります。isucon/isucon14 を今回使ったコミットに固定して取得し、Ubuntu 24.04 ベースの単一コンテナイメージ（MySQL・nginx・Go・マッチャーを同居）を Apple container で起動します。各モデルの最終差分を当てれば、同じ手順で公式計測できます。ただしベンチマーカーも同じ Mac で動くため、スコアは Mac の空き具合に大きく左右されます。記事公開前にこの手順を通しで試したときは、ほかの作業で負荷が高かったため、初期実装が 1,932点（本番時 6,448点）、Astra の最終版が 33,006点（本番時 152,416点）でした。どちらも合格はしています。勝敗の比較は、同じ時間帯に続けて計測した本番の数値で行っています。
container system start
cd benchmark_sources/opus55-vs-astra/isucon-env
./setup.sh /tmp/isu-run/astra/isucon # ISUCON14取得・ビルド・参加者ディレクトリ作成
git -C /tmp/isu-run/astra/isucon apply "$PWD/../astra/isucon/final.diff"
./judge.sh /tmp/isu-run/astra/isucon # コンテナを作り直して公式ベンチを1回
おわりに
Opus 5.5 と GPT-6-Astra を6つの課題で1回ずつ比べ、Opus 5.5 の3勝1敗2分という結果になりました。冒頭の注意書きのとおり n=1 の記録で、勝敗の多くは人間の主観による判定です。
Astra が勝った ISUCON は、スコアの天井よりも「落ちない実装を最後に出す」判断が効いた勝負でした。Opus 5.5 が勝った姫路城・ゲーム・絵本は、どれも「本物らしさ」や「見た人がどう反応するか」まで踏み込んだ作り込みが差になっています。 一方で、140字の小説は両者とも人間を唸らせられませんでした。短い文章で論理のつじつまを合わせながら余韻を残すのは、まだ難しいようです。
Enjoy, comparing Opus and Astra!
参考
- isucon/isucon14（確認日：2026年9月23日）
- ISUCON公式Blog（確認日：2026年9月23日）
- twitter/twemoji（Astra の絵本の挿絵。CC BY 4.0）