Windows Vista Experience Index: новый тест или маркетинг? – THG.RU

Может ли индекс производительности Vista заменить тесты?

Рынок “железа” очень разнообразен: на нём можно найти сотни видов процессоров, материнских плат, жёстких дисков, видеокарт и других комплектующих. Конечно, последние годы мы наблюдаем консолидацию производителей, в результате чего остались только такие крупные игроки, как AMD/ATi, Intel и nVidia, вместе с несколькими производителями материнских плат и гигантами-производителями винчестеров. Но поиск хорошего продукта по-прежнему задача нелёгкая. Здесь как нельзя лучше помогают разные тесты, поскольку они позволяют оценить качество и производительность по определённым критериям. В Windows Vista есть встроенный тест, который позволяет оценивать производительность компонентов и системы в целом. Но насколько так называемый Experience Index соответствует результатам тестов THG.ru и других изданий?*

Ниже мы подробнее затронем тему тестирования, но сразу хотелось бы отметить проблему реальных и синтетических тестов. Обычно основой хорошего тестирования являются так называемые реальные тесты, поскольку они используют реальные приложения для измерения производительности и возможностей. И хотя проводить такие тесты сложнее, чем синтетические, они дают более весомые результаты. Скажем, для оценки производительности процессоров мы используем почти 30 разных программ и тестов.

Конечно, мы проводим и синтетические тесты, которые призваны отдельно оценить какие-либо аспекты компонентов. Но синтетические тесты создаются с учётом определённых целей, поэтому они дают не такие весомые результаты, как тесты реальных приложений. Чтобы пользователи поверили в синтетический тест, он должен получить широкую поддержку индустрии, перейдя в, своего рода, стандарт.

Microsoft находится в прекрасном положении, чтобы предложить стандартный тест на уровне потребителей, поскольку к середине года Vista будет доминирующей ОС на новых ПК. Встроенный тест позволит пользователям не только сравнивать производительность компонентов и системы, но и станет важным инструментом маркетинга для всей индустрии. Microsoft разработала хитрую, но в то же время простую систему рейтингов под названием Windows Experience Index. В одном числе вы получите оценку производительности и функций. Microsoft наверняка пожелает, чтобы на коробках с “железом” и программами указывался этот индекс. Он позволит пользователям быстро проверить, достаточен ли результат системы для программного пакета, который они собрались покупать. Пользователь сможет модернизировать свою систему, чтобы новый компонент соответствовал рейтингу Experience Index или превышал его.

Преимущества подобного универсального пакета вполне очевидны. Но насколько Windows Experience Index отражает реальную производительность? Судя по названию, перед нами индекс, отражающий реальные ощущения пользователя, специально разработанный для Windows Vista. Мы решили проверить, насколько хорошо результаты теста Vista соотносятся с нашими собственными результатами.

Основы тестирования

Как мы уже сказали, существует два типа тестов: реальные, основанные на играх или приложениях из пользовательских сценариев, и синтетические. Последние состоят из программ, специально разработанных для нагрузки системы или определённого компонента в целях стрессового тестирования. В качестве примеров синтетических тестов можно привести 3DMark и PCMark от Futuremark, Sandra от SiSoftware. Среди реальных тестов можно привести для примера скрипт, выполняющий несколько задач в Adobe Photoshop, перекодирование видео из одного формата в другой, прогон 3D-игры.

Оба типа тестов дают либо результат в баллах или кадрах в секунду, либо результат, выраженный во времени выполнения той или иной задачи. В играх производительность принято измерять по кадрам в секундах, в вычислительных приложениях – в итерациях в секунду, для оценки жёстких дисков или памяти – в мегабайтах в секунду и т.д. В зависимости от теста, вы получите один или несколько результатов, на основе которых и можно будет делать вывод. Можно опираться на какой-либо один результат, в зависимости от вашей цели.

Некоторые синтетические тесты, такие как 3Dmark, смогли стать стандартом индустрии на потребительском уровне, но мы всё же предпочитаем реальные тесты, поскольку они дают более весомый результат. Например, 65 кадров в секунду для большинства пользователей понятнее, чем 6583 баллов 3DMark. Много это или мало? 65 кадров в секунду, конечно, хватит для плавной игры. Да, можно поспорить, что баллы 3DMark можно использовать для лёгкого сравнения систем между собой, поскольку перед нами единственный критерий – баллы. А прямое сравнение кадров в секунду бессмысленно без учёта характеристик системы.

В любом случае, результаты тестов оправдывают себя только в том случае, если вы можете их с чем-то сравнивать. Определение частоты кадров в секунду у новой видеокарты на нескольких разрешениях окажется не слишком осмысленным занятием, если у вас на руках не будет результатов ближайшего конкурента и, возможно, предшествующей модели. Первый шаг заключается в создании постоянной тестовой платформы, которая не будет меняться, когда вы будете менять тестируемое “железо” (например, переставлять видеокарты). Полезно будет ввести нормирование результата. Например, если 65 кадров в секунду принять за 100, то 73 кадра в секунду – это уже 112 баллов или 12% прирост.

Важно быть терпеливым и аккуратным, чтобы результаты были повторяемы. Поэтому рекомендуется повторно проверять результаты. Тестовое приложение не должно выдавать сильно разнящиеся результаты для разных прогонов. Разумно проводить по три прогона каждого теста. Чем больше разброс в результатах, тем больше следует проводить прогонов. Если после десяти прогонов результаты всё равно разнятся, то данный тест лучше оставить и перейти к более точному решению. Что касается результатов прогонов, то можно высчитать среднее значение или взять самый маленький или самый большой результаты. Здесь всё зависит от типа теста.

Наконец, следует помнить, что Windows Vista умеет оптимизировать и ускорять запуск приложений благодаря функции Superfetch. Это особенно следует учитывать в тестах, которые запускают множество модулей, например, во время прогона BAPCo SYSmark, который последовательно выполняет несколько приложений. Vista будет анализировать запрашиваемые данные при каждом запуске теста, при этом отдельные приложения будут запускаться быстрее, а результат с каждым прогоном будет улучшаться. Поэтому нужно либо научить систему данному тесту, либо отключить функцию Superfetch.

Windows Experience Index

Windows Vista не только более умная и красивая операционная система. Она умеет оценивать производительность системы, на которой работает Vista. Microsoft создала специальный индекс Windows Experience Index (WEI) для оценки компонентов системы: процессора, оперативной памяти, графической подсистемы и жёсткого диска. Для каждого компонента выдаётся промежуточная оценка (sub-score). Windows использует промежуточные оценки для получения общего результата WEI, который попросту равен самой низкой промежуточной оценке.

Индекс WEI представляет собой число от 1 до 5,9, где 5,9 – самый высокий результат, который можно получить сегодня. Когда появится более быстрое “железо”, Microsoft планирует поднять индекс до 6 и выше. Microsoft утверждает, что никаких планов или чёткого расписания обновления индекса нет, но это будет производиться, примерно, каждые 12-18 месяцев.

Индекс Vista WEI – это не только число. К нему даётся определённое описание (так называемый уровень).

• Уровень 1 (1): достаточная производительность. Система готова для офисных приложений, работы в Интернете, электронной почты и мессенджера, простых образовательных программ
  – старые или “бюджетные” компьютеры, ультра-портативные устройства.
  Это минимальный индекс, который требуется для запуска Windows Vista.
• Уровень 2 (от 2,0 до 2,9): адекватная производительность. Будет доступен интерфейс Aero, системная отзывчивость улучшиться, но профиль приложений такой же, как у уровня 1,
  – “бюджетные” и массовые компьютеры.
• Уровень 3 (от 3,0 до 3,9): современная производительность; интерфейс Aero, средние возможности для запуска 3D-игр и графических приложений
  – массовые ПК с хорошей видеокартой.
  Это минимальный результат, требуемый для сертификации Vista Premium.
• Уровень 4 (от 4,0 до 4,9): высокая системная производительность, поддержка HD-видео и высоких разрешений в 2D и 3D
  – High-end ПК, компьютеры для энтузиастов, ноутбуки типа “замена настольного ПК” и ноутбуки для энтузиастов.
• Уровень 5 (от 5,0 до 5,9): самая высокая производительность на сегодня
  – просто сумасшедшие компьютеры.

Когда Microsoft добавит уровень 6, то описание изменится, но система выставления индекса – нет. Поэтому можно будет легко сравнивать старые и новые компьютеры и периферию. Microsoft подчёркивает преимущества WEI для покупки программного и аппаратного обеспечения, что с коммерческой точки зрения кажется вполне очевидным шагом.

Мы обнаружили любопытный блог Nick White на английском языке, посвящённый подробным деталям WEI: Windows Experience Index: An In-Depth Look.

Соответствует ли WEI реальной производительности?

Результат WEI для системы, собранной на high-end компонентах: четырёхядерный процессор Intel Core 2 Extreme QX6700, 2 Гбайт ОЗУ, видеокарта nVidia GeForce 8800 GTS и жёсткий диск Western Digital WD1500 Raptor.

Процессор

Мы взяли четыре разных процессора, чтобы сравнить результаты промежуточного индекса CPU с нашими тестами. Первый процессор – одноядерный Pentium 4 560, работающий на 3,6 ГГц. К нему мы пожелали добавить двуядерный процессор и выбрали Pentium D 840 на 3,2 ГГц. Наконец, мы взяли четырёхядерный Core 2 Extreme QX6700 на 2,66 ГГц и двуядерный Core 2 Extreme X6800 на 2,93 ГГц.

Вполне понятно, что четырёхядерный процессор Core 2 показал самый высокий индекс CPU, возможный сегодня: 5,9. Двуядерный процессор Core 2 на 2,93 ГГц показал 5,7, а Pentium D 840 – 5,0, то есть оба процессора всё ещё принадлежат к передовому уровню производительности. Но даже трёхлетний Pentium 4 560 показал себя весьма достойно, с результатом 4,4.

Как можно видеть в разделе тестов, индекс производительности CPU вообще не отражает реальную производительность. Мы использовали PCMark05 для получения синтетических результатов, WinRAR 3.62 для анализа скорости сжатия данных, XviD 1.12 для перекодирования видео MPEG2 в формат XviD MPEG4, Lame 3.97 для перекодирования аудио WAV в формат MP3 и Deep Fritz X для проверки производительности в популярном шахматном приложении.

Да, пусть Windows Vista относит три из четырёх процессоров к топовому пятому уровню производительности, но результаты традиционных тестов говорят сами за себя. Они показывают, что самый быстрый процессор на самом деле примерно в два раза быстрее старого Pentium 4, то есть в реальных приложениях разница будет намного более существенна, чем можно подумать по Windows Experience Index.

Память

Мы провели тесты памяти в SiSoft Sandra 2007 и тесты CPU в PCMark05, чтобы проверить влияние размера памяти, скорости и конфигурации. Использовались следующие конфигурации.

DDR2-667, 512 Мбайт, один канал
DDR2-667, 1 Гбайт, один канал
DDR2-667, 1 Гбайт, два канала
DDR2-667, 2 Гбайт, два канала.

DDR2-800, 512 Мбайт, один канал
DDR2-800, 1 Гбайт, один канал
DDR2-800, 1 Гбайт, два канала
DDR2-800, 2 Гбайт, два канала.

В данном случае Windows Experience Index демонстрирует большие отличие, чем наши тесты. WEI принимает во внимание тот факт, что Windows Vista работает ощутимо медленнее на системах с 512 Мбайт ОЗУ. В остальном же объёмы 1 и 2 Гбайт показали схожую производительность. Один или два канала влияют на синтетические тесты памяти, но не на индекс производительности памяти Vista.

Видеокарта

Для сравнения с Experience Index мы использовали игру Call of Duty 2 и 3DMark06. 3DMark06 – популярный тест, хотя и синтетический, но он уже стал де-факто стандартом индустрии. Call of Duty 2 – это 3D-шутер, который представляет среднюю современную 3D-игру.

Мы выбрали пять разных видеокарт, которые соответствуют сегментам high-end, массовому и начальному. nVidia GeForce 8800 GTS представляет high-end сегмент, ей в пару мы добавили ATi Radeon X1900 XTX. Карта поколения GeForce 8 показала результат 5,9 в обоих тестах Windows (система и игры), а Radeon X1900 XTX показала 5,9 баллов по графике Windows и 5,8 по игровой графике. Обе карты обеспечивают достаточную производительность для современных игр, поэтому разницу в 0,1 балл можно отнести на счёт отсутствия поддержки DirectX10, которая есть у линейки nVidia GeForce 8.

Следующая карта – ATi Radeon X850 XT, отстающая на одно поколение. Она обеспечивает высокую производительность, но не поддерживает Shader Model 3 (DirectX 9.0c). По этой причине карта не дотянула до уровня 5 и показала результат 4,9 для игровой графики. Для графики Windows эта карта смогла выдать максимальные 5,9 балла. Ситуация аналогична и для nVidia GeForce 6800GT, ранней карты DirectX 9, которая работает уже не так хорошо, как современные модели. Она показала 4,5 балла для игровой графики и 5,9 балла для графики Windows. Наконец, мы установили старую карту ATi Radeon X700 Pro, но и она выдала 4,5 балла для игр и 4,9 балла для графики Windows. Эта карта не поддерживает DirectX 9, поэтому вы не получите функции прозрачности интерфейса AeroGlass в Windows Vista.

Опять же, мы были уверены, что игры и 3DMark покажут более существенную разницу между видеокартами. И мы не ошиблись. Если игровой индекс пяти видеокарт не падал ниже 4,5, что указывает на хорошую производительность, то тесты дали совершенно иную картину. В разрешении 1280×1024, которое широко распространено среди современных 17″ и 19″ ЖК-дисплеев, играть в Call of Duty 2 на картах GeForce 6800 GT и ATi Radeon X700 Pro было практически невозможно, да и Radeon X850XT смогла выдать, максимум, 32,4 кадра в секунду. Две топовые видеокарты, Radeon X1900 XTX и GeForce 8800 GTS, показали 66 и 92,9 fps, чего более чем достаточно для плавной игры.

Жёсткий диск

Мы использовали четыре жёстких диска, включая модели на 7 200 об/мин, выпущенные несколько лет назад, современный жёсткий диск на 7 200 об/мин и накопитель Western Digital Raptor на 10 000 об/мин. Как можно было ожидать, Raptor показал наилучшую производительность и получил в WEI 5,9 балла, в то время как накопитель Seagate Barracuda 7200.10 на 750 Гбайт – 5,7 балла. Два старых жёстких диска, Hitachi Deskstar 7K250 и Seagate Barracuda 7200.7, дали 5,3 и 5,2 балла, соответственно. Очевидно, что Microsoft не оценивает время доступа или оно играет очень малую роль в итоговом результате.

Тестовая конфигурация

Мы использовали материнскую плату Asus Commando, собранную на основе популярного чипсета P965 от Intel. Нажмите на картинку для увеличения.

Тесты и настройки

Результаты тестов THG против Windows Experience Index

CPU

Память

Графика

Жёсткий диск

Windows Marketplace: поиск подходящего ПО

Microsoft анонсировала Windows Marketplace, на котором пользователи могут подбирать программное обеспечение на основе Windows Experience Index. Этот магазин отображает только те программы, которые могут работать на вашей системе Windows Vista.

Если вы внимательно посмотрите на ссылку, приведённую выше, то обнаружите, что она содержит все промежуточные индексы: CPU, MEM, HDD, DWM и D3D. Ссылку можно найти в разделе “Control PanelSystem and MaintenancePerformance Information and Tools” (“View software for my base score online”), но можно заменить индекс производительности для каждого компонента, если требуется.

Идея Windows Marketplace, возможно, и хороша. Но не следует забывать, что это предложение Microsoft, поэтому там вы не найдёте программ с открытым исходным кодом. Сайт чисто коммерческий.

Заключение

Microsoft Windows Experience Index – система тестов, встроенная в Windows Vista и позволяющая определить, могут ли на ваших компонентах работать те или иные программы, которые вы планируете купить. Мы рекомендуем присмотреться к индексу WEI, поскольку, как нам кажется, всё больше и больше розничных продуктов будут его указывать. Продукты с индексом 5 или выше можно смело отнести к верхнему сегменту массового рынка или к high-end сегменту, хотя смело доверять WEI мы не советуем. Впрочем, индекс назван Windows Experience Index, он отражает ощущения пользователя, а не производительность тех или иных компонентов. Он показывает, насколько хорошо на данном “железе” будет работать Windows Vista, можно ли будет воспользоваться последними функциями. Но WEI ни в коей мере не является заменой традиционным тестам.

При сравнении Windows Experience Indices для разных процессоров и видеокарт мы обнаружили поразительные факты. Если вы будете слепо доверять Windows Experience Index, то сможете попросту купить продукт, который не будет соответствовать ожиданиям! Например, Vista оценила все пять видеокарт индексом 4,5 балла и выше, то есть они должны прекрасно работать с 3D-играми. Но, как показывают игровые тесты и 3DMark, это неверно.

То же самое относится и к процессорам: в зависимости от вашего приложения, дву- или четырёхядерный процессор может практически удвоить или учетверить производительность. Но индекс для всех современных CPU относится к уровню 5, и даже процессор, выпущенный три года назад, получил уровень 4. Конечно, его достаточно для запуска Windows, но если ваши приложения требуют высокой вычислительной мощности, подобрать нужный продукт вы сможете, только сравнивая результаты других тестов.

В общем, Windows Experience Index – хорошее добавление, поскольку позволяет оценить производительность компонентов и системы в целом. Но индекс не способен заменить традиционное тестирование, так как он очень специфичен и субъективен.