2010年9月28日火曜日

ベンチマークの見方、書き方

  • まぎらわしいというか誇大広告なベンチマークをよく目にする
  • 自戒を込めて、たとえばこんなベンチマークはいやだ
  • 実行環境が書いていない
  • 実行環境が曖昧
  • 実行結果の単位が独創的
  • 入力内容が一種類だけ
  • ハードディスクの性能。CPUの性能。メモリの性能。書き込み先デバイスの性能
  • 実行結果がハードウェアの性能を超越している
  • ベンチマークに関係しない事柄(テストファイルの入出力処理)と、その機能が消費するコストが明示されていない
  • 次元の違うものなのに同軸に扱っている(機能は1/100ですが早いです!など)。同機能で比較すること。
  • テストプログラムの問題(スレッドを走らせる処理でスレッドの完了をまたずに完了としてる)
  • それはキャッシュの性能だ
  • 利用が想定される環境での測定が書かれていない。
  • ウェブで使うもののはずがファイル書き出ししかしてないとか。
  • 類似品との比較がない
  • 可能であればベンチ結果を閲覧できるようにする