こんにちは、かのあゆです。ベンチマークの結果というのはガジェットマニアだけでなく、メーカーにとっても販売戦略上重要視されていますが、重要視しすぎた結果「ベンチマークソフトだけパフォーマンスを向上させる(あるいはベンチマークソフト以外でパフォーマンスを落とす)」行為が発生してしまう場合があります。
ミッドレンジスマートフォンでも十分快適に使えるようになってきた今、ベンチマークスコアを特段意識する必要もなさそうなのですが、残念ながらSamsung製スマートフォンとXiaomi製スマートフォンでまた不自然なパフォーマンス調整行為が発覚しました。
目次
1.GeekBenchなど、特定のアプリでのみ高いパフォーマンス
Samsung、Xiaomiともに「特定のベンチマークソフトを使用したときだけ、パフォーマンスを変える」行為を行っていることが発覚しました。
ベンチマークソフト「GeekBench」のアプリケーションIDを「原神(海外名Genshin Impact)」や「Fortnite」などのゲームタイトルに変更する、つまり「本来はGeekBenchなのだが、システム側では原神とみなされるような処理」をした場合、ベンチマークスコアが大幅に低下してしまったことが報告されています(詳細についてはこの記事の最後にリンクしている参照元サイトをご覧ください)。ちょっと不適切な表現ですが、わかりやすく言うと「GeekBenchの動作中はフルパワー、それ以外では手抜き」という挙動なわけです。
Samsung端末は2019年に発売したGalaxy S10シリーズから最新モデルとなるGalaxy S22シリーズ、Galaxy Tab S8シリーズが対象となっており、Xiaomi端末に関してはウインタブで先日実機レビューを行ったXiaomi 12 Pro、Xiaomi 12Xなどが対象となっています。
結果として、Samsung端末はGeekBenchのデータベースから削除される結果となってしまい、Xiaomi端末に関しても今後GeekBenchのデータベースからの削除が検討される状況になっています。
2.GalaxyはOne UI 4.1へのアップデートでパフォーマンス調整をユーザーが行えるように
Samsung端末の場合、ゲーム管理アプリの「Game Optimizing Service(GOS)」によって複数のアプリケーションのパフォーマンスを制御しており、株主総会で最高責任者が謝罪したほか、アップデートでGame Optimizing Serviceでパフォーマンス調整を行うかどうかをユーザーが選択できるようにすることを約束しています。
Samsung端末は先日グローバルモデルで展開が始まったOne UI 4.1では実際にユーザーがアプリのパフォーマンス制御を行うかどうか設定できるようになっています(日本国内ではまだAndroid 12 with One UI 4.0へのアップデートが行われたばかりなので、もう少し時間がかかりそうです)。
Xiaomiに関しては現状どのような方針に向かうのか不明ですが、ユーザーからの不満の声が多ければMIUI 13のアップデートで改善される可能性は高そうです。
3.まとめ
昨年のハイエンド端末に搭載されていたSnapdragon 888、今年投入されたSnapdragon 8 Gen 1に関しては、高性能化したぶん「発熱」が目立つCPUとなってしまったため、安定性のためにある程度パフォーマンスを調整する(落とす)というのは理解できるのですが、ベンチマークの結果を重視するあまりベンチマークアプリのみパフォーマンスを向上させる設定にするのは結果としてはユーザーの信頼を失ってしまうので個人的にはよろしくないと感じています。過去にも同じようなことが何度か起きていますが、そろそろベンチマークスコア重視というプロモーションはやめても良いのでは・・・とも感じています。
Xiaomi 12 Proに関しては先日の実機レビューで最新のハイエンドCPUであるにも関わらず、「原神」でフレーム落ちが発生していることが気になりました。この問題由来であればアップデートで改善されるはずなので、できれば早く対応してほしいと思っています・・・
4.参照サイト・関連リンク
Samsung will soon let you decide whether your Galaxy S22 throttles in apps and games:AndroidPolice
Xiaomi responds to throttling controversy and Geekbench de-listing:AndroidPolice
Huaweiがベンチマークソフトウェアで水増し行為 - 実用性のないモードで計測されたスコアにどれだけの意味があるのか(かのあゆ)
コメント
不自然も何も、バッテリー持ちを重視したチューニングでしょう。今どきのスマホの性能を考えると、あらゆるアプリを常時フルパワーマックスで動かすなんて非効率の極み。ほとんどすべてのアプリはバッテリー重視モードで問題なく動くんだから、デフォルト設定はバッテリー重視モードになっていて当たり前かと。
GeekBenchもそのバッテリー重視モードで動作すれば文句も出なかったんではないですかね。
???
バッテリや冷却の制約が多いスマホOSでは
最適化が何よりも最優先されるという大前提の中で
ベンチマークの目的は最大性能の計測そのものなので例外が適応される
やってる事は至極普通な気がするんだけど…
しいて問題を挙げるならその意識をユーザーと共有してない事だと思う
ゲームもベンチマークと同じで最大性能で動かせよって言うかもしれんけど、
そんなこと求めてるのゲームオタクだけだから。
ほとんどの普通のユーザーにとっては多少画質が下がってもバッテリー持ちがいいほうが嬉しい。
サムソンとシャオミはちゃんとユーザーのためになる仕様でやってるわけで、
それなのに一部の声の大きいゲーオタのせいで詐欺扱いされているのはすごく気の毒。
iPhoneのように素の性能が高すぎて節電モードでもそもそも気が付かれないのが一番凄いのは言うまでもないんだけどね。
バッテリー保ち悪、発熱で暴走落ちがないようにしっかりチューニングされてるってことでしょう。
むしろ褒められるべき事だと思いますが。
案の上、信者らが沸いてきた。
僕はかのあゆさんの意見に賛成です。
ベンチマークではプロセッサーの最大性能ではなく、その端末をユーザーが通常想定される一般的な方法で使用した際の性能が測定されるべきです。
ユーザーが通常想定される一般的な方法で使用することのできない性能は、多くのユーザーにとって価値がありません。
ベンチマークであっても、その他のアプリと全く同じモードで動作するようにすべきと思います。
↑理想論としてはその通りだけどさあ、
実際にそれやると、ベンチマークはフルパワーモードで動かしてる端末のほうがスペック高く見えちゃうのよね。
実際にそれでイメージ上大損してるのが日本の端末。とくにシャープ。でそんなこと知りもしないどころか端末を触ったことすらない人がベンチマークスコアだけ見てネットで叩くのよ。
サムソンとシャオミはズルしてるけど、そうせざるをえないのがこの世の現実。