記事にアフィリエイト広告を含みます

Huaweiがベンチマークソフトウェアで水増し行為 - 実用性のないモードで計測されたスコアにどれだけの意味があるのか(かのあゆ)

Huaweiがベンチソフトで水増し行為
こんにちは。かのあゆです。Huaweiがhonor 10など一部のKirin 970搭載モデルで、ベンチマークソフトの実行時のみパフォーマンスを向上させ、ベンチマークスコアを高くする「ベンチチーティング」行為を行っていたことが明らかになりました。

スポンサーリンク

1.いったい何が起きたのか

honor Playは日本では未発売だが...
Huaweiは同社のハイエンドCPUであるKirin 970を採用した「honor Play」(日本未発売モデル)において特定のベンチマークアプリの起動時のみ、専用モードでパフォーマンスを最適化しベンチマークスコアを水増しする「ベンチチーティング行為」を行いました。

このモードは通常ユーザーが設定することができず、特定のベンチマークアプリを起動したときのみ設定されるようになっており、ベンチマークソフト「3D Mark」を開発しているUL Benchmarks社が、Google Play Storeで公開している正式版3D Markと、UL Benchmarks社が社内で使用している専用バージョンの3D Markでベンチマークスコア比較を行ったところ、スコアに大幅な差が出る結果になったとのことです。

現在でもこれらの機種はランキングから除外されている
その結果、3D Marksのベンチランキングから「P20」「P20 Pro」「honor Play」「nova 3」のKirin 970搭載機が除外され、これを受けてHuaweiは今後のアップデートでベンチ専用モードを一般ユーザーにも開放することを計画していることを発表しています。

スポンサーリンク

ただし、このモードはベンチマークスコアを水増しするための専用モードであるため、実際に一般ユーザーに解放されたとしても、発熱やバッテリーの消費が激しくなるものと思われ、あまり現実的に利用できるモードにはならなさそうです。

2.過去にはSamsungやHTC,、OnePlusなども

特にハイエンドCPUを搭載したフラッグシップモデルに関してはベンチマークスコアが最も「見える比較」になりやすいこともあってか、過去にもSamsungやHTC、MeizuやOnePlusなども特定のベンチマークソフト起動時のみ専用モードでパフォーマンスを最適化させる「ベンチチーティング」行為を行っており、Huaweiが初というわけではありません。

今回のHuaweiの場合、ちょうどこのタイミングでSnapdragon 845よりも優れた性能を発揮するとされる最新CPU「Kirin 980」を発表したこともあって、この行為が新製品に泥を塗る結果になってしまったのは非常に残念なことだと思います。

3.ベンチマーク戦争は終わったと思う

ベンチチート行為をしなくても十分いい端末たちなのにもったいない
現在のスマートフォンに関しては2万円台で購入できるミッドレンジクラスのCPUでも重量級の3Dゲームのプレイなどを除けば不満なく動作するようになってきていると思いますし、その観点からも、ベンチマークスコアで争うのはナンセンスなんじゃないかと感じています。

実際ベンチマークスコアがいくら最高値をたたき出したとしても、発熱で著しくパフォーマンスが落ちたり、あるいはバッテリーの持ちが悪くなったりして、結果としてミッドレンジクラスのスマートフォンのほうが快適という結果になっては本末転倒だと思います。

とはいえガジェット好きとしては「新ハイエンドCPUがAntutuで高いスコアをたたき出した!」と発表されてしまえばワクワクしてしまうわけで、そういう意味ではベンチチーティング行為は残念なことではありますが今後も繰り返されるのかもしれません。

4.関連リンク

Huaweiの「P20 Pro」など、3DMarkのランキングから削除 禁止の最適化発覚で : ITmedia News

スポンサーリンク

コメント

  1. ずめん(@mayugorin) より:

    Huaweiやけにスコア良いなぁ~って思ってましたが…ベンチは中華スマホ購入の時の大事な目安だからチートなんてやめて欲しい!

    • wintab より:

      ずめんさん、こんにちは。中国メーカーって、いまだにこういうセコいことが横行しているのが残念です。ましてやHUAWEIなんていう超大手メーカーでさえこれですからね。

  2. 匿名 より:

    そういう意味では各社ハイエンドが冷却性能の強化に取り組み始めたのは良い傾向
    razerなどのアーリーアダプター向けから始まった取り組みが
    アーリーマジョリティーへ広まりつつある
    これは正常な進化として評価したい

    むしろ今度はクトゥルフ神話に出てきそうな禍々しい多眼カメラ競争が怖い
    3流メーカーが見かけ倒しで追従しだしたらヤバイ

    • wintab より:

      こんにちは。確かに3年後くらいに「アウト側5レンズ」くらいになっててもおかしくない勢い…。

  3. 読者N より:

    これとルートキット混入は定期的に話題が降ってきますね

    • wintab より:

      読者Nさん、こんにちは。あとマルウェア混入もね…。しかしあれ、ウイルス駆除ソフトメーカーのマッチポンプのような気もしないではないですけど。

  4. 匿名 より:

    エアコンメーカーのやってた爆風モードみたいなもんだね
    省エネ性能水増しするために計測室の環境を感知すると実用性のないモードが発動するという
    あっちも消費者に指摘されてもうやめますとか言ってたけど

    • wintab より:

      こんにちは。あと昔あった「60km/h定地走行」の燃費とかね。これはチートじゃないけど、まるっきり参考になりませんでした。

  5. 些細な事でもやられると信頼感が失われますよね。残念です。

    • wintab より:

      PYUさん、こんにちは。確かに。いっぺんこういうことが発覚すると、信頼回復に時間がかかりますよね。ブランドショップが偽物売ったらその時点で店舗閉鎖に追い込まれるみたいに…。

  6. 匿名 より:

    そうは言っても、中身が分からないチップの性能比較にはベンチマークスコアが重要な指標になります
    例えば、SoCがSDM410からSDM630になって快適になりました。と言われて理解できる人はそう居ませんが、Antutuスコアが35kから85kに上がって快適になりました。なら、大体の人はなんとなくであっても理解できますからね
    SDM845がなぜハイスペックだと言い切れるのか、そういった常識と言うエビデンスの由来をよく考えてみればすぐに分かることです

    • wintab より:

      こんにちは。おっしゃるとおりです。Antutuがわかりやすいと私も考えてますが、あれ、バージョンが上がっちゃうとスコア体系も変わっちゃうんで、少し古いスコアが使えなくなっちゃうんですよね。PCでしつこくドラクエとDDONを測定しているのはそんな理由もあります。

  7. 匿名 より:

    特定のベンチマークソフトを起動させると高速モードになるような内部ソフトを組み込むようなメーカーが、「特定ブラウザが起動したらキーロガーを起動させるような事は絶対しませんよ」とか言っても誰も信用できない訳で。
    こんな嘘をついて何を得て何を失うのか想像がつかなかったんでしょうかね

    • wintab より:

      こんにちは。まったくおっしゃるとおりだと思います。特に中国メーカーはキーロガーの噂が絶えませんしね。HUAWEIがやった、というのは罪深いと思いますよ。