ベンチマーク最適化とチートの境界
― 過去事例に見るパターンと考察

ATIのドライバが実行ファイル名「quake.exe」を検知し、テクスチャフィルタリング品質を引き下げるなどしてフレームレートを引き上げていた事例。当時Quake IIIはGPU性能比較の定番であり、ベンチマーク利用時のFPS差は購買判断に直結していた。

検証者が実行ファイルを「quack.exe」にリネームしたところフレームレートが低下し、スクリーンショット比較で画質劣化も確認された。「同じ処理を高速に実行する」のではなく「処理の品質を落として高速に見せる」行為であり、画質の変化という客観的な証拠があった点で明確なチートとされた。

NVIDIAのGeForce FX 5900 Ultra向けドライバが、3DMark03を複数の手法で操作していた事例。PC業界におけるベンチマークチートとしては最も広く知られた事件のひとつである。

Futuremark（現UL）の監査により、以下の操作が確認された。

（1）3DMark03のローディング画面を検出し、バックバッファクリア命令を無視してワークロードを軽減する。（2）Game Test 2 で使用される頂点シェーダー（P_Pointsprite.vsh）を検知し、ドライバ側で低精度の代替シェーダーに差し替える。（3）異方性フィルタリング有効時に画質を犠牲にしてパフォーマンスを向上させる。

Futuremarkが検出回避パッチ（Build 330）を適用したところ、NVIDIAのスコアは24.1%低下した。検証者が実行ファイル名を「3DMurk03.exe」にリネームした際にも同様にスコアが低下し、画質劣化も確認された。

Futuremarkは当初「最適化とチートは全く異なる。最適化は開発者の意図通りの結果を維持したままドライバコードの効率を上げること」と明確に非難したが、後にNVIDIAとの協議を経て「アプリケーション固有の最適化であってチートではない」と一転する声明を出す混迷を見せた。

同時期に調査されたATIのCatalyst 3.4ドライバでも、3DMark03 Game Test 4 において何らかのテスト検出が行われ、総合スコアで約1.9%の乖離が確認された。NVIDIAの24.1%と比較すれば極めて小規模だが、完全に無垢だったわけではない。ATIは後にこの最適化をドライバから除去した。

IntelのWindows 7向け統合グラフィックスドライバが、3DMark Vantageのグラフィックスワークロードの一部をCPUにオフロードすることで、GPUベンチマークのスコアを人為的に水増ししていた。Futuremarkの規約ではこの種の処理移譲は明確に禁じられており、GPUの実力を測るテストにおいてGPU以外のリソースを使う行為は検出を意図したチートと判断された。

実行ファイル名を変更しても同じ挙動が確認されたため、ファイル名検出ではなくワークロード特性による検出と推定されている。

AnandTechの詳細調査により、Galaxy S4の Exynos 5 Octa搭載版において、通常480MHzで動作するPowerVR SGX 544MP3 GPUがAnTuTu、GLBenchmark 2.5.1、Quadrant実行時に限り532MHzに引き上げられることが確認された。CPUも同様に、ベンチマーク検出時には負荷にかかわらず最大クロックに固定されていた。

ファームウェア内の「TwDVFSApp.apk」を解析したところ「BenchmarkBooster」という文字列が発見され、Quadrant Standard/Advanced/Professional、Linpack、AnTuTuなど具体的なパッケージ名がハードコードされていた。一方、GFXBench 2.7.0（GLBenchmark 2.7.0の後継）は対象外であり、同一のGPUテストでありながらスコアに明確な差が生じた。

Snapdragon 600搭載版でも同様のCPU操作が確認され、Samsungの対応が特定SoCに限定されたものではなく社内方針レベルの判断であることが示唆された。

Samsungの公式回答は「通常、Galaxy S4はGPU最大周波数533MHzで設計されているが、長時間のフルスクリーンゲームによる過負荷を避けるため、特定のゲームアプリでは480MHzに制限している」というもので、事実上「ベンチマーク時が正常で、ゲーム時が制限されている」という苦しい主張であった。

XDA DevelopersがGeekbench開発元のPrimate Labsと協力し、OnePlus 3/3Tにおけるベンチマーク操作を暴露した。ファームウェア内にGeekbench、AnTuTu、Androbench、Quadrant、Vellamo、GFXBenchのパッケージ名がハードコードされていた。

ベンチマーク検出時にはビッグコアのアイドルクロックが1.29GHz、リトルコアが0.98GHzに維持される一方、通常アプリでは両者とも0.31GHzでアイドルするよう設定されていた。クロックの上昇自体はアプリ名に基づくもので、CPUワークロードの大小とは無関係であった。

OnePlusはこれを認め、「ゲームやリソース集約型アプリでより良いユーザー体験を提供するための機能」と説明したが、ベンチマーク名のハードコードリストの存在と整合する説明ではなかった。

同時期に発覚したMeizu Pro 6のケースはやや特殊であった。本来、MediaTek Helio X25のビッグコアは負荷に応じて起動するよう設計されているが、通常アプリではビッグコアが正常に起動しない状態にあった。一方、ベンチマーク検出時にはビッグコアが正常に動作していた。つまり、ベンチマーク時の挙動が「本来の正常動作」であり、通常時が「不具合に近い状態」だったという奇妙な構図である。

CPUスケジューリングの不備を一般アプリに対して放置しつつ、ベンチマークでだけ正常に動作させるという「怠慢型チート」とでも言うべき事例であり、意図的な操作とバグの放置の境界にある。

OnePlus 3/3T問題の発覚後も改善されず、OnePlus 5においても同様の操作がレビュアー送付機に組み込まれていた。XDA Developersは「ほぼ全てのOnePlus 5レビューに掲載されたベンチマークスコアは誤解を招くもの」と指摘した。

OnePlusは今回の操作を「デバイスの性能的可能性（peak potential）を示すもの」と説明し操作の維持を表明したが、XDA側は「ピーク性能と日常的な性能体験は異なる」と批判した。

この事例は、レビュアーに提供される端末がベンチマーク操作を含んだ状態で出荷されることの問題を浮き彫りにした。レビュー記事が操作されたスコアに基づいて書かれ、それを読んだ消費者が購入判断を行うという連鎖が可視化された形である。

AnandTechの暴露を受け、UL Benchmarks（Futuremark後継）が自社ラボで検証を実施。公開版3DMarkアプリと非公開版で同一テストを実行したところ、公開版のスコアが最大47%高いという極めて大きな乖離が確認され、4機種が3DMarkのランキングから除外された。

Huaweiの王成録氏はAnandTechに対し「AIによる知的リソース配分」と主張したが、非公開版ベンチマークではブーストが発動しなかったことから、AI云々ではなくアプリ名による単純な検出であることは明白であった。さらに「他社も同じことをしている」「中国では一般的な慣行」と開き直りとも取れる発言をしたことで批判が強まった。

後にHuaweiはULと協議し、「Performance Mode」をユーザーが明示的に有効化できる形にすることで合意し、段階的な再リストを目指す方針が示された。

Huawei事件の約1ヶ月後、OPPOのFind XとF7でも同様のベンチマーク操作が確認され、3DMarkからデリストされた。OPPOは「ゲームや3DMarkのような高性能を必要とするアプリを検出した場合、SoCをフルスピードで動作させて最も滑らかな体験を提供する」と説明したが、非公開版で発動しない時点でこの説明は成立しなかった。

Android AuthorityがGeekbenchの協力を得て「Mini Golf」と名付けたステルス版（名称偽装した同一テスト）で大規模テストを実施。HTC、Xiaomi、Huawei（Pシリーズ、HONORシリーズ）で5%未満の小規模ブースト、OPPOではシングルコアスコアで特に顕著な操作が確認された。

一方、Samsung Galaxy Note 9、Sony Xperia XZ2、Google Pixel 3 XL、OnePlus 6Tなどは公開版とステルス版で一貫したスコアを示し、2013年や2017年の問題から改善されたメーカーも存在することが確認された。

AnandTechのAndrei Frumusanu氏が、OPPO Reno3 Pro欧州版（Helio P95搭載）と中国版Reno3（Dimensity 1000L搭載）のベンチマーク比較で異常に気づいたことが発端。Cortex-A75ベースの旧世代SoCであるP95が、より新しいCortex-A77ベースのDimensity 1000LをPCMarkで上回るという不自然な結果が出た。

ULが提供した匿名版PCMark（ファームウェアが検出できない版）を使用したところ、P95の総合スコアは30%低下し、個別テストでは最大75%もの差が確認された。一方、同じReno3 ProのSnapdragon 765G版（中国版）ではこのような操作は見られなかった。

ファームウェア解析の結果、/vendor/etc/power_whitelist_cfg.xmlというファイルに、AnTuTu、Geekbench、PCMark等の主要ベンチマークのパッケージ名が記載され、これらのアプリ実行時に「Sports Mode」と呼ばれる高性能モードが有効化される仕組みが発見された。Sports ModeではDVFS設定、メモリコントローラ周波数、サーマルスロットリング閾値、スケジューラ設定が一括で変更され、通常ではありえない高負荷動作を許容する。

この事例の決定的な特異性は、操作が個別OEMの判断ではなくSoCベンダーのBoard Support Package（BSP）に組み込まれていた点にある。AnandTechの調査により、OPPO、Realme、Xiaomi（Redmi Note 8 Pro）、Sony（Xperia XA1、2017年発売）など、9機種・9チップセットにまたがる操作が確認された。ULは最終的に8つのMediaTekチップセットに関するPCMarkスコアを一時デリストし、25ブランド超・50端末超に影響が及んだ。

さらに問題を深刻化させたのは、OPPOがファームウェアアップデートでpower_whitelist_cfg.xml内のベンチマーク記載を「隠蔽」した痕跡があったことである。操作自体は継続しつつ、設定ファイルの文字列だけを見えにくくするという対応は、問題の認識があった上での意図的な隠蔽と解釈された。

MediaTekの公式声明は「業界標準に従っており、ベンチマークテストがチップセットの能力を正確に表すと確信している」というもので、さらに「競合他社のチップセットも全く同じように動作している」と名指しを避けつつQualcommを暗示する反論を行った。ULはこれに対し「名前でベンチマークアプリを検出する隠された仕組みは『業界標準』ではない。むしろ標準の正反対」と明確に否定した。

AnandTechが発見し、Geekbenchが確認・デリストした事例。従来の「ベンチマーク時にブーストする」とは異なり、OxygenOSが特定の一般アプリ実行時にCortex-X1プライマリコアを無効化して省電力化する一方、ベンチマークアプリにはこの制限が適用されないという「逆方向」の操作であった。

結果としてベンチマークスコアは本来の性能を反映するが、ユーザーが日常的に使用するアプリではその性能が発揮されない。ベンチマークスコアと日常体験の乖離を生む点では、従来型のブーストと本質的に同じ問題を持つ。

OnePlusの意図はおそらくバッテリー寿命の確保であったと推定されるが、ベンチマークを除外対象にしたことでスコアの信頼性が損なわれた。

Samsung Galaxy S22シリーズに搭載されたGame Optimizing Service（GOS）が、約10,000のアプリに対してCPU/GPU性能を制限する一方、GeekbenchやAnTuTuなどのベンチマークアプリはその制限対象から除外されていた。韓国ユーザーコミュニティが最初にGOSのアプリリストを抽出し、その中にInstagram、Netflix、Microsoft Officeなどゲーム以外のアプリが大量に含まれていたことで問題が広く知られた。

韓国のYouTuberが3DMarkのパッケージ名を原神（Genshin Impact）に変更するテストを実施したところ、スコアは2,618点から1,141点に激減（FPSは15.7から6.8に低下）。Android Policeの検証でもGalaxy S22+においてシングルコア性能が約45%、マルチコアが約28%、GPU計算性能が54〜58%低下した。

Geekbenchは過去4世代のSamsungフラグシップ（S10、S20、S21、S22シリーズ）をランキングから一括除外するという異例の措置を取った。Samsungは「GOSはゲーム中の過熱防止を目的としており、ベンチマークアプリはゲームアプリではないためGOS対象外」と説明したが、制限リストにゲーム以外のアプリが含まれている事実との矛盾を解消できなかった。

最終的にSamsungはGame Booster内にパフォーマンス優先モードを追加するアップデートを配信し、2016年以降のGOS搭載端末全体に対応を広げた。

スマートフォンに留まらない事例として、Samsungのテレビにおけるベンチマーク操作がある。HDTVTestのVincent Teoh氏が最初に発見し、FlatpanelsHDが詳細検証を行った。

テレビレビュアーやキャリブレーター、認証機関は標準的にHDRテストで画面の10%に相当するウィンドウを使用し、そのウィンドウ内で黒から白までの階調や色を測定する。Samsungのテレビはこの10%ウィンドウおよび他の一般的なウィンドウサイズを認識し、測定時に画像出力を調整して実際の表示能力以上の精度を示すよう設計されていた。

検証者がウィンドウサイズを9%（非標準）に変更したところ、操作アルゴリズムがバイパスされ、テレビの「本来の色」が露呈した。QN95B Neo QLEDでは、測定時にピーク輝度が通常の約1,300nitsから最大2,300nitsへと約80%も瞬間的にブーストされていたが、実際のコンテンツ視聴では1,300nitsを超えることはなかった。また、色と輝度のトラッキング精度も測定時に限り向上するよう調整されていた。

この手法はPC GPUやスマートフォンと同じ構造を持つ。「テストパターンの検出」→「検出時のみ出力特性を変更」→「非標準パターンでは通常動作に戻る」というサイクルであり、ファイル名リネームやパッケージ名偽装に相当するのが「ウィンドウサイズの微調整（10%→9%）」である。

FlatpanelsHDはこれを「意図的なチートであり、レビュアーを欺くための組織的な取り組み」と断じた。Samsungは「より広いウィンドウサイズでHDRコンテンツの一貫した輝度を確保するソフトウェアアップデートを提供する」と表明したが、不正行為の明確な認定や謝罪は行わなかった。

なお、Samsungは2015年にもテレビのエネルギー効率テストにおいて類似の操作が疑われており（EU資金の独立研究機関ComplianTVが指摘）、テストコンテンツ検出時に消費電力を低減させていた可能性がEU委員会の調査対象となっていた。

Futuremarkが2003年のNVIDIA事件で示した最も明確な基準。「最適化とは、開発者が意図した正確な結果を維持したまま、ドライバコードの効率を上げること」であり、「チートとは、結果を変えてしまうこと」。ATIのQuack事件では画質劣化、NVIDIAの3DMark03事件ではシェーダー差替えによる描画差異が確認された。出力が同一でないなら、それは最適化ではない。

アプリ名やパッケージ名に基づいて動作を切り替えること自体は、必ずしも不正ではない。PC GPUドライバがゲームタイトルごとにプロファイルを持ち、既知の不具合を回避したり描画パスを最適化することは広く行われており、ユーザーにとっても有益である。モバイルにおいても、特定のゲームに対してCPU/GPUガバナーを調整すること自体は合理的な最適化と言える。

問題の本質は、ベンチマークアプリに対して「そのスコアが日常的に再現可能であるかのような印象を与える」水準の最適化を行い、実使用時にはその性能が得られない状態を作り出すことにある。ULの規約が「デバイスはベンチマークを他のアプリケーションと同様に実行しなければならない」と定めているのも、スコアの再現性を担保するためである。ベンチマークスコアを見た消費者は「この端末はこの水準の性能を持つ」と受け取るのであり、その期待と実体験の乖離が過大であれば、それは最適化の域を超えて誤認の誘発となる。

Samsung GOSの問題が端的に示すように、ユーザーが性能制限の存在を知らず、制御もできない状態は問題を深刻化させる。一方、HuaweiがULとの協議を経て導入を約束した「ユーザーが明示的に有効化するPerformance Mode」はUL規約上許容されている。判断基準は「ユーザーが自らの意思で性能プロファイルを選択できるか」にある。

ベンチマークスコアが実使用時の体験と乖離する場合、そのスコアはユーザーにとって意味をなさない。クロック引上げ型操作の場合、ベンチマーク時の電力消費と発熱は日常使用には許容されない水準であることが多く、スコアは「維持できない瞬間最大風速」に過ぎない。Samsung Galaxy S22のGOS問題では、逆に日常使用での性能が過度に抑制されており、どちらの方向であれ「ベンチマークスコアが日常体験を正しく予測しない」状態はユーザーにとっての問題である。