Обновление методики тестирования видеокарт в 2012 году – THG.RU

Встречайте новые диаграммы 2012 года

В этом году мы сильно расширили количество графических бенчмарков. Теперь полный прогон всего тестового набора занимает три часа двенадцать минут, не учитывая установку и разборку стенда, а также замеры температуры и звука.

В данной статье мы стремимся рассказать про основную методологию тестов и настройки, которые мы использовали для получения результатов. Это добавит прозрачности тестам и упростит сравнение. Хотя мы не можем предвидеть и протестировать все возможные сценарии, мы стараемся охватить наиболее широкий диапазон тестов.

Тестовый стенд 2012

Используя платформу на базе Core i5 мы начали замечать “узкие места” со стороны процессора в тестах с высокими нагрузками на CPU, как например DiRT 3. Поскольку видеокарты Radeon HD 7970 и GeForce GTX 680 поднимают производительность на новый уровень и требуют более мощного процессора, в этом году для тестового стенда мы выбрали Intel Core i7-2600K, разогнанный до 4.5 ГГц. Функция Hyper-Threading включена на случай, если приложения смогут её использовать.

Мы собрали систему в начале года, то есть материнских плат на чипсете Z77 ещё не было. Также не было смысла менять память, которую мы использовали в прошлом году. В качестве источника питания мы используем модель Corsair AX1200, которая легко справляется с конфигурациями до четырёх видеокарт, когда мы уделяем больше внимания производительности в SLI и CrossFire. Игры и приложения мы устанавливаем на твердотельный накопитель Kingston V100+ 256 Гбайт.

Тестовая система установлена на передвижную подставку. Благодаря ей мы можем передвигать весь стенд в звукоизоляционную тестовую камеру для измерения уровня шума и для этого нам не нужно устанавливать видеокарты в другой стенд. Это важно, поскольку мы проводим все тесты в помещении с кондиционером и температурой 20 градусов, что не приемлемо для измерений звука громкостью ниже 32 дБ(A).

Далее мы расскажем вам о выборе монитора и разрешений.

Выбираем монитор и разрешения

Выбор монитора

Основываясь на статистических данных, для тестов мы выбрали соотношение сторон 16:9 (не волнуйтесь, разрешение 2560×1600 в обзорах вы всё равно увидите). Мы также увеличили количество тестируемых разрешений, теперь бенчмарки будут проводиться на 1280×720, 1920×1080, и 2560×1440. Для каждого разрешения мы используем соответствующую комбинацию настроек качества для различных окружений. Более подробно об этом далее. Чтобы тщательнее оценить качество изображения, мы выбрали быструю матрицу H-IPS, которая предоставляет более широкий спектр цветов, чем обычная TN-панель, а также более широкий угол обзора и высокую яркость.

После длительного отбора мы остановились на модели монитора Dell U2711.

Из-за существенного увеличения производительности текущих видеокарт high-end класса, тестирование на разрешении 2560×1440 становится более актуальным. LCD-мониторы с диагональю от 22″ до 24″ обычно предлагают разрешения 1080p с 1920×1080 пикселями, мы будет использовать такие настройки для тестов в среднем классе. Для начального уровня, мы будет использовать относительно низкие параметры 720p с 1280×720. Понятно, что протестировать все разрешения мы не можем, но вы можете интерполировать результаты с помощью удобной таблицы, приведённой ниже.

Разобравшись с выбором монитора, давайте взглянем на три предустановки, которые мы будем использовать для тестов видеокарт начального, среднего и high-end уровней.

Уровни предустановки: начальный (Entry-Level), производительный (Performance) и экстремальный (Extreme) уровни

Три отдельных уровня настроек обеспечивают справедливую оценку

Чтобы охватить более широкий диапазон видеокарт, мы также расширили индекс производительности, основанный на наших тестах, добавив категории. Первым идёт сегмент “начального уровня” для бюджетных видеокарт. Уровень разрешения, качества изображения и производительность, которую можно ожидать в этой категории, представлен моделями Radeon HD 6790 и GeForce GTX 550 Ti. Для “производительной” категории характерны две весьма распространённые видеокарты: GeForce GTX 560 Ti и Radeon HD 6950. И наконец “экстремальный” уровень может быть представлен картами типа Radeon HD 7950 и GeForce GTX 580.

Мы подняли планку для каждой категории, поскольку производительность новых видеокарт с GPU 28-нм значительно повысилась. 100% очков в категории означает, что карта полностью соответствует специфике сегмента. Обратите внимание, что производительность (и количество очков) могут меняться в зависимости от игры и версии драйвера. Мы также старались подобрать тесты, которые нейтрально относятся к обоим производителям GPU. Мы уверены, что наша подборка бенчмарков позволяет справедливо оценить производительность видеокарты.

Теперь давайте разберёмся с тестами, которые мы будем использовать в 2012 году.

Синтетические бенчмарки

Синтетические тесты часто нагружают видеокарты на очень высоком уровне, который не свойственен обычным играм. Следовательно, они часто рассматриваются как худший сценарий и должны стать частью любого набора тестов, чтобы предоставить базу результатов, не зависящих от производителя. Кроме обязательного теста 3DMark 11 мы добавили Unigine Heaven 2.5 и Unigine Sanctuary, которые впервые были использованы нами в 2011 году.

3DMark 11

3DMark – один из самых старых и наиболее распространённых синтетических бенчмарков. С ним связано множество противоречий и недочётов. Последняя версия называется 3DMark 11, на сегодня этот бенчмарк даёт наиболее безжалостную тестовую нагрузку. Следовательно, это единственный тест, для которого мы смягчаем требования к разрешению, поскольку на данный момент на рынке нет видеокарт, способных справиться с разрешениями более 1080p в 3DMark 11. Поскольку нашей целью является измерение скорости видеокарты, в финальных результатах мы не будем объединять их с очками CPU.

Unigine Heaven 2.5

Это классический тест для оценки тесселяции, также он отлично подходит для замеров шейдерной производительности. Данный бенчмарк хорошо демонстрирует архитектурные изменения и другие технологические улучшения.

Unigine Sanctuary 2.3

Unigine Sanctuary хорошо подходит для оценки качества динамического освещения, HDR-рендеринга, parallax occlusion mapping, ambient occlusion mapping, просвечивания, объёмного освещения и тумана, системы частиц и постобработки. Следовательно он может заменить более старые игры на DirectX 10, которые мы сейчас убираем из тестов, чтобы поддерживать набор игр актуальным.

Игровые тесты на DirectX 9

Даже если учесть, что технология DirectX 9 уже давно не является стандартом для современных ПК, она всё равно занимает доминирующее положение на рынке благодаря играм, которые изначально были разработаны для консолей. К тому же существует множество классических игр, написанных на DirectX 9, которые до сих пор пользуются широкой популярностью. Поэтому мы выбрали три игры, которые представляют устаревающий API DirectX 9.

Crysis 2: DirectX 9

Crysis 2 мы будем запускать как в режиме DirectX 9, так и в DirectX 11 (с HD-текстурами). Такое решение также даст возможность оценить разницу в производительности при переходе с DX 9 на 11, и это уникальная возможность данной игры.

Оба режима Crysis 2 мы будем тестировать с помощью бенчмарка Adrenaline на предустановках, соответствующих каждой категории видеокарт.

Grand Theft Auto IV EFLC

GTA IV стала классикой и до сих пор пользуется огромной популярностью. Однако стоит обратить внимание, что у неё не очень хорошая оптимизация и даже на разогнанном процессоре Core i7 начинают появляться ограничения со стороны CPU, особенно когда установлена высокопроизводительная видеокарта на низких настройках качества. Всё, что быстрее карты GeForce GTX 570, будет замедляться процессором. Это ещё одна причина, почему необходимо оценивать производительность графического процессора на хорошо сбалансированных настройках. Бессмысленно сравнивать карты high-end класса на настройках качества начального уровня.

Mafia 2

Mafia 2 – это ценное дополнение нашего тестового набора, игра до сих пор требует современные high-end карты, особенно на высоких настройках качества (даже учитывая, что игра портирована с консолей). А загружаемый дополнительный контент снова приманивает игроков.

Теперь пора перейти к тестам в режиме DirectX 11.

Игровые тесты на DirectX 11, первая часть

DirectX 11 был представлен вместе с Windows 7 в 2009 году. Разработчики всё чаще используют этот API, и даже некоторые портированые с консолей игры, как, например, Crysis 2, визуально выглядят гораздо лучше при использовании DX 11. Вот почему мы выбрали тесты DirectX 11 – самой последней API от Microsoft, которая даёт преимущества как геймерам, так и разработчикам.

Metro 2033

Несмотря на свой возраст, Metro 2033 – является довольно тяжёлым тестом для самых современных видеокарт, особенно на максимальных настройках качества. Изначально премьера следующей части игры планировалась в этом году, однако была отложена до 2013-го. Следовательно, эта игра остаётся в нашем наборе.

Crysis 2, режим DirectX 11

Crysis 2 заинтересовал возможностью работы в режиме DirectX 11, которая была добавлена после выхода игры, это существенно улучшило качество картинки, но и повлияло на производительность. Стоит отметить, что на картах серии Radeon HD 7900, игра работала быстрее в режиме DirectX 11, чем в DirectX 9. Однако чуть позже, обновление драйвера исправило этот недочёт. Мы используем текстуры высокого разрешения, которые шли вместе с патчем, поддерживающим DirectX 11, только в “экстремальной” предустановке.

Alien vs. Predator

Для всех категорий производительности встроенный бенчмарк игры Alien vs. Predator даёт оценку компромисса между качеством изображения и тесселяцией с одной стороны, и общей играбельности и производительности с другой.

Продолжим обсуждение тестов DirectX 11.

Игровые тесты на DirectX 11, вторая часть

Для второй части набора тестов DirectX 11 мы добавили несколько игр из начального уровня прошлого года, а также некоторые новые для нас игры.

Batman: Arkham City

Batman: Arkham City – это оптимизированная под DirectX 11 игра, она включает в себя встроенный бенчмарк, который даёт отличные повторяемые результаты. При увеличении уровня предустановки, улучшение качества изображения очень заметно. В этом тесте PhysX отключён.

StarCraft II

Для тестов StarCraft II мы используем очень длинный повтор, который воспроизводим на восьмикратной скорости. Для тестов мы отключили функцию Hyper-Threading.

DiRT 3

Для DiRT 3 мы используем тестовую утилиту Adrenaline. Это игра способна задействовать много потоков и опирается на быстрый CPU. Следовательно для того, чтобы реализовать прирост FPS при тестировании быстрых карт типа Nvidia GeForce GTX 580 на “начальном” уровне предустановки на нашем процессоры Core i7 требуется включить технологию Hyper-Threading. За последний год Core i5 заметно занижал результаты.

Battlefield 3

Мы проводим тесты с помощью двух сцен из миссии “Operation Swordbreaker” на одного игрока, которые доводят до предела даже видеокарты high-end класса, что идеально для тестирования. Стабильные результаты мы получаем, высчитав среднее число из трёх прогонов. Обратите внимание, что миссии на одного игрока обычно показывают более высокую частоту кадров, чем мультиплеерные миссии, которые ограничены процессором.

Далее следуют тесты GPGPU.

Тесты GPGPU

Введение в тесты GPGPU

Теперь, когда OpenCL признан мультиплатформенной API для GPU-вычислений, стало относительно просто тестировать производительности GPGPU в приложениях, причём приложения теперь действительно нейтральны к платформам. Раньше область универсальных вычислений GPU была разделена между технологиями CUDA (Nvidia) и Stream (AMD), мы сталкивались с проблемой, когда приложение поддерживало только одно из двух окружений, и сравнить их друг с другом напрямую было невозможно.

Bitcoin Mining

Помимо синтетических тестов, Bitcoin mining является одним из пригодных примеров использования GPU-вычислений, хотя и узконаправленным. Сложность использования Bitcoin mining в качестве бенчмарка заключается в том, что OpenCL miner обычно не поддерживает новые видеокарты до следующего релиза приложения. Поэтому нам приходится постоянно обновлять OpenCL miner и результаты тестов.

LuxMark

LuxMark – это второе практическое приложение GPGPU в нашем тестовом наборе. Оно основано на бесплатной программы для рендеринга LuxRender. Сейчас доступна вторая версия бенчмарка, но мы пока будем использовать проверенную сцену LuxBall HDR, поскольку хотим протестировать большое количество карт. Две другие сцены слишком тяжелы для видеокарт начального уровня. Учитывая, что мы хотим сравнить возможности GPGPU видеокарт с возможностями GPGPU на APU и IGP, мы не планируем заменять эту популярную сцену другими, по крайней мере, в 2012 году.

GPU Caps Viewer

GPU Caps Viewer – это синтетический тест с интересной комбинацией вычислений через OpenCL, постобработкой и графических выводом со сглаживанием и без него. Тест PostFX представляет собой вариант демо Nvidia для API под названием oclPostprocessGL в SDK GPU-вычислений компании, в котором эффект размытия добавлен в постобработку после рендеринга изображения.

Этот обычно является сильной стороной Nvidia. Однако новая архитектура AMD GCN не отстаёт.

N Queens

Так называемая задача о восьми ферзях (N Queens Problem) не имеет ничего общего с Фреди Меркури. Это сложная математическая шахматная задача. Восемь ферзей необходимо расположить на шахматной доске таким образом, чтобы ни один из них не пересекался с другим согласно шахматным правилам (белые и чёрные поля игнорируются). Целью является поиск оптимального решения за минимальный отрезок времени.

Измерение уровня шума

Децибел или сон?

Для измерения уровня звука и у децибел, и у сон есть свои преимущества и недостатки. Физическое давление звука измеряется в децибелах. Его легко измерять и люди знакомы с этой единицей. Но этот показатель не очень хорошо отражает восприятие звука человеком. И даже если количество децибел удваивается, это не значит, что для нас звук становиться в два раза громче.

Определение воспринимаемой громкости в сонах основано на уровне звука. Синусоидальный аудио сигнал в 1 кГц и 40 дБ эквивалентен 40 фонам, которые в свою очередь определяются как один сон. Когда человек воспринимает звуковую волну, которая в два раза громче – это называют двумя сонами, в два раза тише – 0.5 сона. Несмотря на то, что такой подход выглядит более практичным, логичным и удобным, он имеет несколько подводных камней, которые, в конечном счёте, вынуждают нас использовать децибелы.

Во-первых, соны плохо растут выше одной единицы. Даже если уровень звука выше сона на 10 фонов он воспринимается в два раза громче, ситуация ещё более сложная ниже 40 фонов, где звук, уменьшающийся ниже чем на 10 фонов слышен вполовину тише. К сожалению простой формулы для этого диапазона звукового давления не существует. А поскольку видеокарты в режиме бездействия имеют уровень звука ниже 40 фонов, с этим возникают проблемы.

Во-вторых, сон основан на чистой синусоидальной волне равной 1 кГц на 40 дБ. Однако вентиляторы создают звуки, состоящие из различных частот и не чистой синусоидальной волны. Различные частоты воспринимаются на разной громкости при одинаковом давлении звука. Что бы вы предпочли слышать, низкий гул или пронзительный визг при одном уровне громкости?

Чтобы симулировать или частично симулировать восприятие звука ухом, измерения звука обычно проводятся с использованием взвешенной кривой мощности звука, такой как стандартизированная кривая, указанная в EN 61672-1/-2. Эти кривые являются фильтрами, которые пытаются подражать частотной характеристике человеческого уха при проведении измерения уровня звука. Конечно же они приблизительные. Но в зависимости от точности измерителя уровня звука, результаты в дБ(A) важнее, чем в сонах в ситуациях, когда мы сталкиваемся с уровнями звука ниже 40 дБ. Для точности, значение в дБ(А) должно сопровождаться расстоянием до источника звука.

Итог: в качестве фильтра мы использовали кривую А. Другими словами, мы использовали дБ(А) как единицу для измерений уровня звука.

Измерения звука в реальности

Имея возможность передвигать тестовый стенд мы можем измерять звук в специальной камере, в которой отсутствуют сторонние источники звука, такие как шум компьютеров или кондиционера. В камере есть звукоизолирующие окна, толстый ковёр и откидывающийся трёхсторонний звукоизоляционный отсек с крышкой, которая имеет множество пирамид из пеноматериала.

Мы измеряем уровень звука с помощью прибора Voltcraft SL 400 и записываем результаты в прилагаемый регистратор данных. Прибор крепиться на штатив, который ставится на толстую войлочную подстилку для изоляции звука, отражаемого от поверхностей. Расстояние до видеокарты составляет 50 см, микрофон нацелен на вентилятор. Если у видеокарты два вентилятора микрофон направляется между ними. Хотя данный прибор рассчитан на измерения до 30 дБ(A), после калибровки с профессиональным измерителем показатель понизился до 27 дБ(A). Разница небольшая и, возможно, случайная.

Пора перейти к измерениям температуры.

Измерения температуры

Мы тестируем все видеокарты при комнатной температуре равной 22 градусам. Карты лежат в тестовой комнате, по крайней мере, один час, чтобы их температура сравнялась с температурой окружающей среды до начала тестирования. После установки на тестовый стенд, мы оставляем карту простаивать 15 минут, пока температура не стабилизируется. Показатель мы регистрируем с помощью MSI Afterburner.

Для того, чтобы измерить температуру карты под нагрузкой, мы используем приложение Bitcoin mining (GPGPU) или, если карта с ним не совместима, запрограммированный цикл шумов Perlin от 3DMark Vantage. Он обычно создаёт очень большие нагрузки, характерные для FurMark, но, в отличие от FurMark, драйвера не регулируют производительность (и, косвенно, энергопотребление). Таким образом, вы видим температуру, характерную для худшего сценария.

Но почему бы просто не измерить температуру в какой-нибудь требовательной игре? Ответ прост: даже требовательная игра не даёт стабильную нагрузку, если не записывать результаты постоянно. Также есть игры, которые генерируют очень большое количество кадров при отображении меню и результаты могут не просто не соответствовать, но фактически превышать показатели энергопотребления в Metro 2033 и даже достигать уровня цикла Perlin. С GPGPU мы знаем, каким образом карта справляется с худшим сценарием. К тому же количество приложений, использующих универсальные вычисления на GPU, растёт. Поэтому экстремальные показатели нагрузки становятся всё более и более реальными.

Мы собираем показатели температуры одновременно с измерениями мощности, которые обсудим далее.

Измерение энергопотребления

Перед нами стоял выбор, измерять энергопотребление всего тестового стенда или отдельно каждой карты. Но, поскольку показатели всего тестового стенда не очень точны и результаты неудобно сравнивать, мы выбрали более трудоёмкий путь измерения энергопотребления отдельной карты.

После продолжительной череды измерений и тестовых настроек мы взяли показатели мощности всего теста без видеокарты при полной нагрузке на центральный процессор. Чтобы минимизировать колебания, мы не использовали жёсткие диски, хотя вызванная диском ошибка могла изменить результат всего на 2-3 Вт. ПК загружался с PCI-видеокартой десятилетней давности, а процессор максимально нагружен тестом Prime95. С помощью такой конфигурации мы вывели базовое энергопотребление системы 135 Вт.

Чтобы как можно точнее измерить энергопотребление тестируемых видеокарт, мы оставили VGA карту на базе PCI в системе, наряду с тестируемой картой, и настроили CPU на обработку Prime95 с низким приоритетом, когда проводили необходимые тесты. Таким образом любой свободный ресурс процессора занят тестом Prime95, но без влияния на основные бенчмарки. Затем базовое значение вычитается из общего энергопотребления при текущем тесте. На скриншоте выше видно, что такая схема неплохо работает. С видеокартой Radeon HD 7970 в бездействии мощность всей системы составляет 150 Вт. Если вычесть базовые 135 Вт, то получается мощность карты при бездействии составляет 15 Вт, что совпадает с характеристиками производителя.

Стоит обсудить одну проблему, связанную с блоком питания. Эффективность блока питания не постоянна и изменяется вместе с нагрузкой, которую он предоставляет. Если измерять базовое энергопотребление при определённой нагрузке PSU, увеличение нагрузки во время теста повлечёт за собой изменение эффективности PSU и повышение базовой нагрузки, и прошлая конфигурация теперь будет потреблять больше электричества (из-за более низкой общей эффективности).

Когда мы сравниваем энергопотребление (выходное) со стороны постоянного напряжения с разницей между фактической (входной) мощностью переменного напряжения в ваттах и базовой мощностью 135 Вт, мы получаем довольно похожие результаты. Определив кривую эффективности блока питания и добавив её к уравнению, мы можем доработать эти измерения и перепроверить точность амперметра для этих тестов. После табулирования всех измерений, максимальное отклонение составило 5 Вт при общем энергопотреблении системы 435 Вт. Таким образом, энергопотребление только видеокарты составило 300 Вт. Поскольку отклонение небольшое (менее двух процентов) мы считаем наш метод измерения энергопотребления достаточно точным.

Больше данных, больше прозрачности и лучшие рекомендации

Мы вводим новые бенчмарки 2012 года, чтобы предоставить вам всю необходимую информацию для выбора видеокарты для различных сценариев и условий использования. Тринадцать тестов для видеокарт состоят из 39 измерений, на трёх уровнях производительности, которые отражают поведение карт в различных условиях. Дополнительно мы добавили пять тестов для GPGPU и измерения уровня звука, температуры и энергопотребления, которые весьма полезны при выборе походящего корпуса и блока питания.

Мы надеемся, что поможем читателям, особенно тем, которые хотят видеть в тестах больше прозрачности, понять структуру наших тестов.