Введение
Неискушённый пользователь может подумать, что сегодня покупка новой видеокарты – дело несложное. Сначала необходимо определить, какими функциями она должна обладать. Затем следует изучить результаты тестов нескольких карт и выбрать ту, которая лучше всего подойдёт для задач пользователя. Ну, а затем найти эту карту по минимальной цене. Достаточно просто, не так ли? При этом предполагается, что тесты обеспечат пользователя необходимой информацией, а если он не желает ломать голову над цифрами, то обозреватели и журналисты помогут сделать правильные выводы. Но насколько можно доверять тестам?
Для производителей чипов результаты тестов очень важны, поскольку они влияют на судьбу продукта. Если чип преуспевает в обычных тестах, то серьёзные производители возьмут этот чип на заметку и, скорее всего, будут использовать его в линейках своих продуктов, что приведёт к закупкам чипа в больших количествах. Ведь для производителей чипов наиболее важен именно OEM-рынок, где объём продаж максимален. Короткие циклы “жизни” продуктов в графической индустрии, когда переход на новое поколение чипов происходит через шесть-восемь месяцев, намного усложняют выбор правильного решения. К тому же большинство игр, присутствующих на рынке во время выхода чипа, обычно не умеют поддерживать все его новые возможности. Поэтому компаниям очень трудно бороться за прозорливого и расчётливого покупателя, будь то розничный рынок, канал продаж или объёмный OEM-сектор.
Иллюстрация взята из презентации nVidia. Как видим, здесь присутствуют показатели новой карты FX 5600 Ultra в 3D Mark 2001, которые сравниваются с результатами нашего тестирования Radeon 9600 Pro. Что интересно, мы использовали совершенно иную конфигурацию компьютера, которая не соответствует той, что nVidia указала в углу!
Futuremark и тест 3DMark
Хорошо это или плохо, но синтетический (по большей части) тест 3DMark от компании Futuremark стал чем-то вроде индустриального стандарта, чему немало способствовала его поддержка со стороны самих производителей чипов. Некоторые покупатели выбирают очередную видеокарту именно по результатам этого теста! Одна из причин продолжающегося широкого распространения 3DMark заключается в его популярности среди OEM-производителей, что, в свою очередь, связано с авторитетом теста в игровой среде. Точку зрения OEM объяснить легко: зачем проводить множество тестов, если можно убедить покупателя с помощью одного результата 3DMark? Или, если добавить сарказма, результаты 3DMark для игрока означают то же самое, что и мегагерцы в рекламной брошюре для рядового покупателя (всё просто и очевидно: больше – лучше). К тому же, пресса тоже сыграла немалую роль в становлении 3DMark, используя его в своих тестах и обзорах, в результате чего на продукт Futuremark можно ставить клеймо “одобрено прессой”. Хотя некоторые издания с самого начала высказывали свои опасения по поводу 3DMark 2003 и ставили под сомнение получившийся “культ баллов”, новая версия теста прочно обосновалась в обзорах. По всем упомянутым причинам вы должны понимать, почему производители графических чипов прилагают нечеловеческие усилия к тому, чтобы красиво выглядеть в 3DMark 2003.
Уже после выпуска оригинального 3DMark 99 пресс-конференции без его результатов стали практически немыслимыми, поскольку общий результат теста наглядно показывал, чего следует ожидать от карты. Помимо этого тест проверял производительность карт при использовании новейших 3D-функций, которые ещё не поддерживались играми на тот момент. Таким образом, тест убеждал покупателей в надёжном вложении денег в видеокарту, поскольку 3DMark отображал её производительность в будущих играх. Следовательно, 3DMark являлся прекрасным маркетинговым инструментом для изготовителей чипов, OEM-производителей и производителей карт, по крайней мере, до сегодняшнего момента. Но в начале 2003 года ситуация изменилась, ведь всему хорошему приходит конец.
“Репортаж из лаборатории” nVidia, где новый тест подвергается ожесточённой критике.
Без всякого предупреждения nVidia, прежде горячо поддерживавшая 3DMark, вдруг отвернулась от Futuremark. Внезапно компания подвергла сомнению значимость результатов теста по отношению к реальной игровой производительности (см. 3D Mark 2003 – спорим с NVIDIA) и официально объявила об уходе из бета-программы Futuremark. Чтобы понять мотивы этого решения, давайте обратимся к закулисной информации и рассмотрим, как работает бета-программа. Но перед этим мы сделаем краткое введение в 3DMark и рассмотрим принципы его работы на тот случай, если вы никогда раньше не сталкивались с этим тестом.
Функции и возможности современных 3D-чипов в большинстве своём следуют спецификациям, заложенным в стандарте Microsoft Direct 3D. Спецификации оговаривают, какие функции должен поддерживать чип, чтобы быть полностью “DX9-совместимым”. Как только спецификации Microsoft утверждаются, производители чипов анонсируют новые продукты, поддерживающие их. Имейте в виду, что производители под “совместимостью” часто понимают то, что игры DirectX 9 будут работать на оборудовании, однако не все их возможности будут поддерживаться.
Поскольку игры требуют намного больше времени на разработку, чем “железо”, новые функции появляются в них значительно позднее. Таким образом, производители карт лишаются своего главного козыря при продаже, а именно того, что новые карты предоставляют новые функции, позволяющие выжать из игры максимум. Разработчики игр, с другой стороны, заинтересованы в продаже как можно большего количества копий игры. Для этого они пытаются программировать игры таким образом, чтобы они могли работать на оборудовании, широко распространённом в момент запуска игры. Под таким оборудованием часто понимается “наименьший общий множитель” графических карт и процессоров, называемый “установочной базой” (installation base). Вряд ли вы найдёте игрового издателя, помимо id Software, который будет разрабатывать игру, способную работать лишь на новейшем (и самом дорогом) “железе”. В конце концов, большинство пользователей вряд ли пожелает потратить $300 и больше, чтобы поиграть в конкретную игру.
Futuremark поняла это очень быстро и начала разрабатывать тестовые программы, которые смогут протестировать новые возможности карт в реальных условиях. Или в так называемых реальных условиях. Многие изготовители чипов входят в бета-программу Futuremark, что позволяет им участвовать в разработке и дизайне тестов.
Бета-программа Futuremark
Бета-программа новейшего теста Futuremark, 3DMark 2003, стартовала летом 2002 года и состояла из шести этапов. Во время этих этапов участники программы могли влиять на разработку теста в интересах своего оборудования. Степень влияния зависела от уровня участия компании в бета-программе. Существует три таких уровня:
- Уровень участника бета-программы
- Доступ к спецификациям, документации, альфа-, бета-версиям и кандидатам на финальную версию
- Связь и брифинги по электронной почте
- Исправление проблем с драйверами и новыми технологиями
- 10% скидка на профессиональные версии тестов Futuremark при их перепродаже
- Свободная лицензия на профессиональную версию
- Версия теста с логотипом компании-участника в целях рекламы
- Доступ к спецификациям, документации, альфа-, бета-версиям и кандидатам на финальную версию
- Связь и брифинги по электронной почте
- Участие в ежеквартальных конференциях
- Исправление проблем с драйверами и новыми технологиями
- 20% скидка на профессиональные версии тестов Futuremark при их перепродаже
- Свободная лицензия на профессиональную версию
- Версия теста с логотипом компании-участника в целях рекламы
- Возможность распространения свободных версий всех тестов Futuremark
- Доступ к спецификациям, документации, альфа-, бета-версиям и кандидатам на финальную версию
- Связь и брифинги по электронной почте
- Участие в ежеквартальных конференциях
- Вызов инженеров Futuremark при необходимости
- Возможность посещения офиса Futuremark инженерами участника
- Исправление проблем с драйверами и новыми технологиями
- 30% скидка на профессиональные версии тестов Futuremark при их перепродаже
- Свободная лицензия на профессиональную версию
- Версия теста с логотипом компании-участника в целях рекламы
- Возможность распространения свободных версий всех тестов Futuremark
Как вы понимаете, за участие в бета-программе Futuremark компаниям необходимо ежегодно выкладывать кругленькую сумму. У нас нет точных цифр, но, по некоторым слухам, чтобы компания получила статус стратегического участника, ей следует заплатить годовой членский взнос в размере $300.000! Лишь такой уровень участия гарантирует реальное влияние на процесс разработки теста. К тому же Futuremark оставляет за собой право повысить взнос в любое время. В прошлом году, к примеру, взнос составлял “всего” $200.000. Платят ли стратегические участники указанную сумму – точно сказать нельзя. Для сравнения, начальный уровень просто участника стоит всего $5000. Впрочем, некоторые избранные издания получают этот статус бесплатно.
Возникает вопрос – действительно ли эти сумасшедшие суммы оправданны? Как мы уже говорили выше, производители карт и изготовители чипов, по сути, оплачивают привилегию участия на разных уровнях в процессе разработки. Нам не известно соотношение степени влияния в зависимости от размера уплаченной суммы, то есть от членского взноса. Поскольку весь цикл разработки является закрытой информацией, единственное, что остаётся компаниям, – верить Futuremark на слово.
Довольно интересно мнение web-мастеров больших и малых сайтов по поводу всего этого. В конце концов, ведь благодаря их поддержке тест получил такое развитие, именно они предоставляют пространство и хостинг на своих web-сайтах. Насколько мы знаем, сайты не получают какой-либо компенсации за предоставление хостинга, будь то в виде денег или рекламных баннеров. Казалось бы, в этом нет ничего необычного, если не принимать во внимание тот факт, что Futuremark не поддерживает свои серверы для скачивания вообще – компания полностью зависит от бесплатных услуг своих приверженцев!
По данным Futuremark, прибыль от бета-программы покрывает только около 80% расходов на разработку теста. Верить в это или нет – дело ваше. Поскольку у нас нет какой-либо конкретной информации о бизнес-модели Futuremark, мы не можем подтвердить или опровергнуть заявление компании. Однако если вы посмотрите на список участников бета-программы Futuremark и посчитаете их членские взносы, то вы быстро оцените всю прибыльность в деле выпуска 3DMark.
Начинаем…
До декабря прошлого года nVidia была вовлечена в разработку 3DMark 2003 в роли стратегического участника. Затем nVidia покинула программу. Компания была неудовлетворена направлением, взятым разработчиками, причём nVidia не постеснялась опубликовать свои претензии в документе PDF. Также nVidia заявила, что Futuremark решила удвоить членский взнос до той суммы, которую производитель чипов платить не захотел. Конечно, Futuremark не стала медлить с ответным заявлением. И вновь мы порекомендуем вам ознакомиться с нашей предыдущей статьёй, если вам интересны все моменты этого спора.
С того момента nVidia перестала использовать результаты 3DMark в своих презентациях и пресс-релизах, либо результаты были получены с помощью предыдущих версий 3DMark. Впрочем, пресса с некоторого времени весьма настороженно относится к этому тесту в связи с его синтетической природой (по большей части). В любом случае, тест используется многими изданиями в роли дополнительного показателя – включая нас – по причине его высокой популярности среди пользователей.
Этапы разработки Futuremark 3DMark 2003. Полноразмерная картинка.
Что интересно, Futuremark высказывает в корне противоположную точку зрения. А именно: nVidia произвела первую партию карт на базе прототипов NV32 (FX5600) и начала тестировать их на текущей версии 3DMark 2003. Когда были получены неважные результаты, nVidia, предположительно, захотела внести несколько изменений в тест, с чем Futuremark не согласилась. nVidia посчитала себя обманутой и вышла из бета-программы. Futuremark объяснила свою позицию тем, что срок внесения изменений стратегическими участниками уже завершился. В общем, было уже слишком поздно вносить изменения nVidia в тест без риска заслужить неодобрение со стороны остальных участников бета-программы. Они бы посчитали, что Futuremark неадекватна в своём поведении.
Какова бы ни была реальная причина подобного решения nVidia, это был очень храбрый (возможно, необдуманный) поступок, учитывая значимость и авторитет теста 3DMark. Самое забавное, что последующие ходы и доработки nVidia наглядно показывают, сколько внимания уделяется одному единственному тесту. Впрочем, учитывая всё сказанное выше, у nVidia не было другого выхода…
NVIDIA под опалой
В целом, слово “мошенничество” используется для описания нечестной борьбы, в результате которой одна из сторон получает преимущество. В первый раз nVidia была обвинена в мошенничестве сразу же после выпуска NV30, или FX5800 Ultra. В тот момент предметом обвинений была точность пиксельных программ DirectX 9. Дело в том, что nVidia NV30 поддерживает три уровня точности, а именно 12-битную (целочисленную), 16-битную (с плавающей запятой) и 32-битную (с плавающей запятой) на канал цвета. Последний режим называется 128-битной точностью или режимом “полной точности с плавающей запятой”, причём эту возможность рекламируют как ATi, так и nVidia. Если обе компании и поддерживают данный режим точности, реализуется это разными путями. Линейка ATi Radeon 9700/ 9800, или R300/ R350, всегда использует 24-битную точность на аппаратном уровне, а затем округляет результат вычислений до 32-битного значения.
Как вы догадываетесь, чем выше точность чипа, тем медленнее выполняются вычисления. nVidia почувствовала себя несколько ущербно в 3DMark 203, поскольку карты ATi используют всего лишь 24-битную точность, в то время как продукты nVidia – 32-битную. Чтобы “исправить” ситуацию, nVidia уменьшила точность до 16 бит в драйвере, который был предоставлен прессе для тестирования с 3DMark 2003. В результате получился довольно большой, если не сказать непропорциональный, рост результатов, что позволило картам nVidia победить конкурирующую продукцию от ATi. Однако первые официальные драйверы, опубликованные nVidia, вновь использовали 32-битную точность, в результате чего чипы компании показали меньший результат, чем графические ускорители ATi. Вполне естественно, что многие люди оценили этот шаг nVidia как мошенничество и почувствовали себя одураченными. На этот раз обиженной стороной стала ATi, поскольку карты nVidia тестировались при уменьшенной точности.
Однако вопрос здесь состоит не в том, при каком разрешении необходимо осуществлять честное сравнение. Необходимо выяснить, как спецификация Microsoft DirectX 9 оговаривает точность. В соответствии с ней, карты DX9 должны поддерживать, по меньшей мере, 24-битную точность с плавающей запятой на канал цвета, чтобы получить статус полностью совместимых с DX9. Ответ очевиден, не правда ли? Однако здесь возникает ещё одна любопытная история, поскольку оригинальные спецификации оговаривали только 16-битную точность. В любом случае, вряд ли кто-нибудь сможет ответить, будет ли точность 32 бита, 16 бит или 12 бит достаточной – всё зависит от пиксельной программы и от эффекта, который она создаёт.
Что касается конечного пользователя, то здесь вопрос следующий: существует ли какая-нибудь видимая разница в качестве изображения между различными режимами точности. Если данная пиксельная программа не требует максимальной точности, то в таком случае вполне разумно и даже желательно переключиться на меньшую точность, чтобы достичь оптимальной производительности. Конечно же, ответ на данный вопрос зависит от разработчика, которому он задаётся. Если некоторые разработчики сообщают о том, что между конечным результатом, полученным с помощью 32-битной или 16-битной точности, разница невелика, ATi придерживается противоположной точки зрения. Компания опубликовала демо, в котором наблюдаются кардинальные отличия в качестве при различных режимах точности. Конечно же, ATi нельзя назвать незаинтересованной стороной в этом вопросе, поэтому сложно сказать, насколько результаты демо соответствуют действительности. На настоящий момент отдел маркетинга ATi очень агрессивно высказывается по поводу сравнения своих продуктов с конкурентами.
NVIDIA под опалой, продолжение
Проблема с полной точностью заключается в том, что два чипа используют значительно различающиеся подходы, поэтому очень трудно выявить самый быстрый из них. Когда используется 32-битная точность, nVidia жалуется на то, что ATi использует всего 24-битную точность. С другой стороны, когда задействуется 16-битная точность, ATi чувствует себя обиженной, поскольку чип компании всегда использует 24 бита. Как видим, прямое сравнение невозможно.
ATi также опубликовала документ, в котором показаны графические артефакты на скриншотах 3DMark 2003, возникающие при переходе с 24-битной точности ATi на 16-битную точность nVidia (игровой тест 4, ореол вокруг солнца). Версия от nVidia отличается:
nVidia: в некоторых ранних версиях 3DMark03 (до Gold) существует ошибка, в результате которой небо отображается большим чёрным квадратом с гиперболически убывающим ярким ореолом вокруг солнца на GeForceFX и эталонном растеризаторе Microsoft, поскольку Futuremark указывает определённое значение NaN/INF. Продукты R3x0 не используют/не поддерживают специальные числа с плавающей точкой, поэтому они создают размытое небо.
Мы решили проблему с чёрным небом, реализовав подобную “ошибку” в наших драйверах, а также привлекли внимание Futuremark к проблеме NaN/INF. Ошибка была исправлена в версии 3DMark03 “Gold”, однако в связи с тем, что nVidia в тот момент не участвовала в бета-программе, мы не получили никакого сообщения об исправлении ошибки, поэтому соответствующий код оставался в наших драйверах, пока мы не удалили его в версии, последовавшей за выпуском 3DMark03. Драйверы 42.67-42.74, а также 43.45 некорректно работают под “финальной” версией 3DMark03 в связи с нашей попыткой разрешить ситуацию с неправильной обработкой NaN/INF у ATi. У нас произошла утечка драйвера где-то в этот момент (версия 43.03, как мы думаем), которая не имела обработки ошибки ATi и правильно отображала небо. Все последние выпуски драйверов не содержат обработку ошибки ATi и вновь корректно отображают небо. |
Довольно забавно, что nVidia оказалась виноватой в данной проблеме, несмотря на то, что карты компании работали безупречно. Как и в случае с другой информацией, которую мы получаем напрямую от компаний, мы не можем сказать, насколько данное объяснение правдиво. По нашему мнению, nVidia, по крайней мере частично, ответственна за сложившуюся ситуацию, поскольку компания давала крайне скудную информацию о своих продуктах, несмотря на то, что дискуссия о точности плавающей запятой была в то время в самом разгаре.
Если вы отслеживаете развитие рынка графических карт уже несколько лет, то можете провести параллели между упомянутым конфликтом и войной аргументов между nVidia с картами Riva TNT/ TNT2 с одной стороны и 3dfx с Voodoo 3 – с другой. Тогда nVidia TNT2 уже поддерживала 32-битную глубину цвета в играх, в то время как 3dfx Voodoo3 была ограничена 16 битами. Аппаратно чип Voodoo3 осуществлял рендеринг с 22-битной глубиной, а затем глубина уменьшалась до 16 бит, причём результат выглядел намного лучше, чем на TNT2 с той же глубиной цвета. Так что, хотя TNT2 и была быстрее в 16-битном режиме, скорость достигалась за счёт уменьшения качества картинки. В 32-битном режиме карта обеспечивала лучшее качество картинки, однако скорость была настолько низка, что её вряд ли можно было назвать приемлемой. Как видим, даже тогда прямое сравнение было невозможно, поскольку всё зависело от приоритетов пользователя – нужна ему большая скорость или лучшее качество. В конце концов, пользователям пришлось признать, что карты попросту используют различные подходы к рендерингу, и уже от ни самих зависит, какой подход им больше по душе.
Второе обвинение
История повторилась после того, как nVidia выпустила свой новейший графический чип – NV35 или GeForce FX 5900 Ultra на игровой выставке E3 в мае этого года. И вновь nVidia обвинили в мошенничестве. Изготовитель 3D-чипов, пожелавший остаться неизвестным, нашёл свидетельства того, что дра йвер nVidia был значительно оптимизирован под 3DMark 2003. После привлечения внимания прессы Futuremark опубликовала документ, в котором детально объяснялось, что nVidia, или, если быть более точным, драйвер выполнял на самом деле. Последние драйверы nVidia используют так называемую “обрезку кадра” (clipping frames), когда участки сцены, невидимые камерой, не отрисовываются. В результате этого уменьшается сложность сцены, следовательно, увеличивается скорость. Кроме того, драйвер распознаёт некоторые программы-шейдеры теста и заменяет их своими собственными, оптимизированными под nVidia, в результате чего карты nVidia демонстрируют значительно лучшую производительность.
3D Mark 2003 | v3.1.3 | v3.3.0 | Различия |
Общий результат | 5788 | 4717 | – ~22,7% |
GT1 | 177,0 | 159,5 | – ~10,9% |
GT2 | 42,0 | 37,5 | -12% |
GT3 | 32,3 | 30,3 | – ~6,6% |
GT4 | 36,8 | 19,1 | – ~92,6% |
Производительность nVidia GeForce FX 5900 Ultra с драйвером 44.03 с новейшим патчем Futuremark и без него.
Вслед за этим Futuremark обвинила nVidia в мошенничестве и выпустила патч (v3.30), который предотвращал распознавание программ-шейдеров драйвером. После установки патча производительность карт nVidia оказалась существенно ниже. В то же время Futuremark отказалась от своих обвинений по поводу мошенничества nVidia, вероятно, опасаясь судебного преследования со стороны графического гиганта за клевету. В любом случае, Futuremark стала называть правки nVidia “оптимизациями”, что переносит споры на другой семантический уровень. nVidia почувствовала себя реабилитированной, поскольку подобная оптимизация программ-шейдеров используется при адаптации драйверов под существующее игры – и никто по этому поводу не жалуется. А поскольку 3DMark 2003 измеряет производительность графических карт в играх, то компания должна получить право оптимизировать драйверы под данный тест, как будто это игра, чтобы гарантировать близкий к реальности результат. Что ж, мы покидаем мир семантики и вступаем в философский спор…
Tiger Woods 2003 на Radeon 9800. Ошибка драйверов ATi или просто плохо написанная программа-шейдер? Нажмите здесь для просмотра несжатой версии изображения оригинального размера.
Tiger Woods 2003 на GeForce FX 5900. Как видите, результат в корне отличается. Связан ли он с заменой программы-шейдера в драйвере или выборе другой ветки кода в игре? Или это результат сотрудничества nVidia с EA и другими издателями в ходе соответствующей программы “The Way it’s Meant to be Played“? Нажмите сюда, чтобы просмотреть несжатую версию изображения оригинального размера.
Второе обвинение, продолжение
NVIDIA защищает использование обрезки кадра очень просто. Компания заявляет, что по своей сути эта технология является видоизменённой версией отсечения невидимых поверхностей (occlusion culling), которая реализована в современных 3D-чипах. И в том, и в другом случае карта не отрисовывает скрытые объекты, даже если они технически присутствуют на сцене. Технология отсечения невидимых поверхностей считается проверенной и легальной техникой оптимизации, поскольку она не влияет на визуальный результат, то есть на выводимую картинку. Ведь и в природе вы не можете смотреть сквозь непрозрачные объекты. Но где провести черту? Вот мы и приходим к дилемме…
Однако nVidia забыла указать, что обрезка кадра используется лишь при известном пути камеры. В настоящих играх игрок может ходить, куда ему вздумается, так что поведение камеры предсказать невозможно. Соответственно, данный метод оптимизации там не работает. Оптимизацию обрезки кадра можно использовать только лишь в тестовых режимах игр типа Quake 3 или Unreal Tournament 2003. Тестовые демонстрации данных игр (timedemo) представляют собой просто последовательность игровых событий, причём путь камеры в них однозначно определён. Если тестовая демонстрация известна, то к ней можно применить оптимизацию обрезки кадра, что можно посчитать своего рода мошенничеством – ведь пользователя обманывают, поскольку карта выдаёт производительность, которую она никогда не покажет в настоящей игре. К счастью, мы не знаем о существовании подобных оптимизаций – по крайней мере, на сегодняшний момент. Единственный способ предотвращения подобных уловок заключается в создании каждым тестером своих тестовых демонстраций для измерения производительности и отказе от их публичного распространения. Недостаток подобного подхода заключается в том, что он препятствует получению результатов, которые можно повторить в других условиях или другими людьми.
Что интересно, nVidia не является единственной компанией, пойманной за руку Futuremark. После установки последнего патча ATi Radeon 9800 тоже показал сниженные результаты в одном из подтестов 3DMark. Похоже, что ATi тоже заменила программу-шейдер четвёртого игрового теста (“мать Природа”) своей оптимизированной версией. Однако ATi утверждает, что программа-шейдер не изменялась в том, что касается вычислений. Вместо этого был изменён порядок следования инструкций внутри программы, чтобы они смогли лучше выполняться аппаратно. Поэтому результат оптимизированной программы-шейдера на 100% идентичен оригинальной версии. ATi заявила, что программы-шейдеры nVidia для 3DMark 2003 изменены именно математически, поэтому они выдают отличающиеся результаты. Наконец, канадцы указывают на значение производительности: увеличение общего результата на 1,9% вряд ли стоит упоминать вообще, поскольку оно находится в пределах погрешности, в то время как оптимизации nVidia улучшают производительность практически на 25%!
3D Mark 2003 | v3.1.3 | v3.3.0 | Различия |
Общий результат | 5621 | 5522 | – ~1,8% |
GT1 | 173,2 | 173,6 | ~0% |
GT2 | 37,7 | 37,6 | ~0% |
GT3 | 33,6 | 33,7 | + ~0,1% |
GT4 | 35,7 | 33,0 | – ~8% |
Тестировался ATi Radeon 9800 Pro с драйверами Catalyst 3.4, как с новейшим патчем Futuremark, так и без него…
ATi заявила, что уберёт сомнительную оптимизацию из драйвера, если она “не соответствует духу теста”. В то же время, nVidia оценивает свои действия как вполне справедливые и легальные. Компания заявляет, что подобные оптимизации наиболее полно соответствуют реальным условиям. И опять же вопрос становится философским…
Впрочем, по нашему мнению, очевидно одно – использование обрезки кадров является мошенничеством по той простой причине, что данная оптимизация подходит лишь для улучшения результатов тестов. Данную практику следует осудить. Но, опять же, не nVidia ли доказывала, что 3DMark 2003 имеет немного общего с реальной игровой производительностью? На самом деле, насколько достоверными можно считать тесты с заранее определённым путём камеры (то есть timedemo)?
Обвинение номер три
За последние дни nVidia получила ещё одно обвинение в мошенничестве. И снова информация просочилась в прессу от той же неизвестной графической компании. Что на этот раз? Похоже, что производительность анизотропной фильтрации текущих флагманских карт nVidia GeForce FX уменьшается на 20-30% в 3DMark 2003 просто при изменении имён файлов теста. Впрочем, производительность стандартной фильтрации или полноэкранного сглаживания остаётся неизменной. Кстати, то же самое относится и к старому 3DMark 2001. Следует сразу же сказать, что мы не обнаружили подобного эффекта в каких-либо играх (Quake 3 и других). (Да, конечно, мы знаем о подобной уловке ATi с Quake 3 во время выпуска Radeon 8500).
3D Mark 2003 | Стандартное имя файла |
Изменённое имя файла |
Различия |
Обычный режим | 5781 | 5782 | ~0% |
2x FSAA | 4698 | 4695 | ~0% |
4x FSAA | 4235 | 4230 | ~0% |
8x анизотропия | 4779 | 3814 | ~25% |
3D Mark 2001 | |||
8x анизотропия | 14379 | 13571 | ~6% |
В результате мы приходим к заключению, что драйвер nVidia применяет сниженный уровень фильтрации, когда он распознаёт запускаемый файл. Кстати, разница в качестве изображения минимальна, но дело то не в этом. (Помните, что мы желаем получить максимально достоверный и корректный тест.) Когда мы спросили nVidia об этом…, хм, феномене, представители компании ответили, что при переименовании файлов карта работает полностью в неоптимизированном режиме. Отсутствие оптимизации сказывается не только на анизотропной фильтрации, но также касается других оптимизаций и исправлений. Как заявляет nVidia, распознавание приложений на основе имён файлов является общепринятой практикой в индустрии и позволяет компаниям применять легальные оптимизации и исправления, а также настраивать рабочее окружение. Заявление базируется на статье Microsoft technet.
Что касается анизотропной фильтрации, то nVidia объясняет ситуацию переходом драйвера на “классическую” анизотропную фильтрацию, которая включается в том случае, если драйвер не может определить запускаемое приложение. Позвольте нам прокомментировать это утверждение. Как ATi, так и nVidia на текущем поколении своих карт используют технику, называемую “адаптивной анизотропной фильтрацией”. Она заключается в том, что при определённом угле наклона данной плоскости по отношению к камере драйвер перестаёт применять максимальный уровень фильтрации, уменьшая нагрузку на графический чип и увеличивая производительность. На практике эта техника позволяет достичь очень хороших результатов. В конце концов, пользователь получает повышенную производительность в играх за счёт крайне незначительного ухудшения качества картинки по сравнению с “классическим” режимом фильтрации.
Самым странным в заявлении nVidia (что драйвер переходит в режим “классической” фильтрации при переименовании файлов) является скрытый подтекст – ведь в таком случае получается, что приложение игнорирует настройки качества в меню драйвера. Таким образом, оптимизированная фильтрация nVidia работает только с теми приложениями и играми, которые драйвер сможет распознать, в то время как оптимизации ATi работают в любых приложениях и играх. Мы получаем ещё одно предположение – возможно ли, что драйвер nVidia использует различные уровни фильтрации в различных приложениях? Так насколько же достоверны результаты GeForce FX в инструментах типа aniso-tester, который мы использовали для тестирования качества анизотропной фильтрации в нашем последнем обзоре GeForce FX 5900 Ultra? Пока мы всё ещё ждём внесения ясности в этот вопрос со стороны nVidia. Мы сразу же сообщим вам о результатах, как только получим ответ.
Мошенничество? Оптимизация? Ответы?
Как видим, простое изложение ситуации и обвинений против nVidia уже заняло несколько страниц. Рассмотрение аргументов в пользу обеих сторон выходит за рамки нашей статьи, поскольку тогда она вырастет поистине до астрономических размеров. В конце концов, мы приходим к выводу, что каждый должен оценивать ситуацию по своим критериям. Задача же прессы заключается в разъяснении всех непонятных моментов в деле тестирования. Вы наверняка согласитесь, что подача некорректных результатов тестов читателям не является приемлемым решением.
Основной вопрос заключается в том, где кончаются легальные оптимизации и начинается мошенничество? В качестве правила можно принять высказывание Тима Свини: до тех пор, пока результат не изменяется, оптимизация считается легальной. Но даже это высказывание не является таким однозначным, каким оно кажется на первый взгляд. Что делать с оптимизацией, которая улучшает производительность почти на 30% и даёт “практически идентичное” качество картинки? И раз уж мы коснулись этой проблемы, то как определить рамку “почти”, и что является допустимым, а что – нет? Наконец, не забывайте о следующей проблеме – кто же судьи? В любом случае, журналистам становится всё труднее точно и аккуратно оценивать продукты и давать рекомендации о покупке на основе результатов тестов.
Ниже мы приводим высказывание Тима Свини по поднятой проблеме (взято с сайта Beyond3D):
Пиксельные программы – это функции, где в качестве входа закладываются текстуры, константы и координаты текстур, а на выходе получаются цвета. Компьютерные учёные взяли данное представление за основу экстенсионального равенства, которое гласит: если даны две функции, причём они возвращают одинаковый результат для всех комбинаций параметров, то они представляют собой одну функцию – даже если их реализация различна, к примеру, по использованию инструкций или по производительности.
Поэтому любая оптимизация кода на основе функции, которая не изменяет результирующее значение для любого аргумента, безусловно считается легальной оптимизацией. Поэтому техники, типа выбора инструкций, изменения порядка инструкций, удаления ненужного кода и изменения следования операций чтения/ записи, считаются приемлемыми. Подобные техники изменяют производительность функции, однако не влияют на выдаваемые значения. Техники оптимизации, которые меняют функцию таким образом, что она начинает выдавать другие значения, считаются неприемлемыми. Подобный вид оптимизации может возникать, к примеру, в компиляторах C++ в виде опции, которую программисты могут выбирать для получения дополнительной производительности при условии изменения значения функции с учётом небольшого численного округления. Примером также может служить опция “improved float consistency” в Visual C++. Подобные оптимизации во всех нормальных программных комплексах должны быть выключены. 3D-чипы всё ещё находятся на этапе своего становления, поэтому в API и самом “железе” возникает множество недетерминированных проблем, типа неопределённой точности, неопределённого порядка фильтрации и т.д. В результате производители чипов могут вносить дополнительные оптимизации, которые изменяют семантику пиксельных программ-шейдеров, и то лишь по причине плохого определения семантики. Со временем подобные проблемы исчезнут, и мы получим хорошо описанный и проработанный слой в компьютерных технологиях. Мы должны вспомнить историю и понять, что если бы центральный процессор компьютера работал так же непредсказуемо, как 3D-ускорители, то программисты не смогли бы писать нормальные приложения. |
Игра цифр
В то же время пользователи должны отойти от мысли, что существует только один “правильный” путь для разработки современных 3D-чипов. Современное 3D-“железо” представляет собой уже не аппаратные ускорители, а сложные графические процессоры. Как и в мире центральных процессоров, здесь тоже существует множество путей для разработки чипа или архитектуры. Каждый из них имеет свои индивидуальные особенности, преимущества и недостатки. Прекрасным примером может служить битва между Pentium 4 и Athlon XP. Каждый из этих процессоров, которые радикально отличаются друг от друга, основан на своей собственной архитектуре.
Futuremark заявляет, что 3DMark 2003 основана на “нейтральном” коде – но может ли быть такое? Может, было бы ближе к жизни, если бы Futuremark разработала оптимизированный код для каждой архитектуры, как поступают программисты игр? Тогда бы результат теста был намного ближе к производительности реальных приложений.
В отличие от nVidia и ATi, такие производители процессоров, как Intel и AMD, публикуют очень детальную информацию о своих продуктах. Графические же гиганты, с другой стороны, не перестают секретничать даже после выхода своих продуктов. Впрочем, время от времени некоторая информация всплывает в Интернете, что позволяет немного проникнуть внутрь “чёрных ящиков”. Чаще всего она приводит к дополнительной путанице, как, скажем, в случае спора о числе пиксельных конвейеров дизайна GeForce FX (в зависимости от условий чип использует четыре или восемь конвейеров). Добавьте к этому очень тенденциозные маркетинговые усилия PR-отделов компаний, которые почти полностью базируются на шумихе и ярких словечках. С помощью технологических “мыльных пузырей” и маркетингового полубреда рекламщики пытаются одурачить покупателей, чтобы те посчитали, что они покупают самую совершенную карту в мире. Самое ужасное заключается в том, что, если судить по выбору среднего покупателя, данный маркетинговый подход работает! Любой здравомыслящий человек рассудит, что графическая карта с 256 Мбайт памяти наверняка лучше 128 Мбайт варианта. А AGP8X должна быть в два раза быстрее AGP4X – не правда ли? Вот видите, бороться с этим – всё равно, что биться с ветряными мельницами…
Зная психологию потребителя, AMD ввела рейтинг производительности для Athlon XP. Представьте себе покупателя, который бы не поддался рейтингу AMD. Он бы подумал, что Pentium 4 с настоящими 2,5 ГГц работает намного быстрее Athlon XP на 1,9 ГГц. Тот факт, что оба процессора показывают сходную производительность, вряд ли будет интересовать даже расчётливого покупателя – ведь числа не лгут! Поэтому у AMD не было особого выбора, и компания сегодня продаёт те же самые 1,9 ГГц Athlon XP под более удачным названием Athlon XP 2500+. Любой покупатель с первого взгляда догадается, что процессор показывает ту же производительность, что и Pentium 4 на 2500 МГц. Проблема решена, верно? Сейчас мы не будем рассуждать, насколько система модельных номеров AMD корректна, особенно по отношению к последним моделям процессоров. Главное здесь – покупатель выбирает числа!
Что же думаем мы?
Итак, для чего же полезен 3DMark? Как мы уже упоминали в начале, 3DMark является идеальным маркетинговым инструментом и средством повышения продаж для OEM. Данный тест выдаёт один результат, баллы 3DMark, который (предположительно) сообщает покупателю производительность системы. Насколько быстро работает “железо” на самом деле – мало кого волнует. Ведь главная задача заключается в продаже максимально возможного количества “железа”. В любви и… в бизнесе все средства хороши.
В результате для производителей жизненно важно, чтобы их продукция получила высокий результат в 3DMark 2003, поскольку хороший результат означает хорошие продажи. Простое уравнение, не правда ли? Поэтому тест становится инструментом бизнеса, выбирающим, будет ли продукт успешен или провален. Вот вам и главная причина того, почему производители пытаются использовать все средства, чтобы их продукты выглядели в 3DMark 2003 достойно. Это просто необходимо, чтобы заработать больше денег.
Иллюстрация взята из рекламной брошюры системы, продававшейся немецким супермаркетом в марте этого года (кстати, данный компьютер продаётся также и в США).
Однако забвение 3DMark 2003 тоже не будет честным. Ещё не так давно производительность графических карт измерялась с помощью Quake III, причём данный инструмент использовался и порицался точно таким же образом. Хорошо известно, что все производители оптимизировали и отлаживали драйверы для максимальной скорости в этой игре, хотя большинство оптимизаций были до того момента неизвестны. По крайней мере, от подобных оптимизаций производителей выигрывали пользователи – конечно, до тех пор, пока качество оставалось неизменным при росте производительности. В то же время, оптимизации 3DMark не дают какой-либо пользы игрокам – ведь вы не будете играть в 3DMark!
Так что же, может быть тестерам использовать для измерения производительности только игры? Однако это тоже не так просто, как кажется на первый взгляд. Драйверы точно так же оптимизируются под игры, как и под тесты. Особенно, если производитель знает или предполагает, что данная игра будет использоваться в роли теста. И здесь появляется программа nVidia “The Way it’s Meant to be Played“, с помощью которой компания пытается убедить разработчиков оптимизировать игры под “железо” nVidia и только под него, причём с самого начала. Корректно это или нет? И вновь аргументы обеих сторон займут страницы, причём мы не сможем прийти к сколько-нибудь разумному заключению.
В одном можно быть уверенным – при всей сложности ситуации для прессы, дальше будет ещё хуже. Будет всё сложнее выбирать крупицы истины в море псевдо-информации, маркетинговой шелухи и различных оптимизаций. Впрочем, мы твёрдо обещаем вам, что будем работать ещё более упорно, чтобы обеспечить вас самыми честными и объективными тестами, на основе которых вы сможете принять решение о покупке. Скажем по секрету, что у нас уже родились некоторые прогрессивные идеи.
Куда мы идём?
Переход на чью либо сторону в данной ситуации не будет разумным решением, поскольку очень легко стать марионеткой любой из сторон, даже отстаивая своё собственное мнение. К сожалению, именно это мы сегодня и наблюдаем. Многие издания получают “внутреннюю информацию” от одной из двух сторон и затем публикуют её как свою собственную сенсацию. Такой подход понятен, поскольку “горячие” материалы привлекают множество читателей, а ведь сайту для выживания необходимо обеспечить определённое число посетителей. Проблема же заключается в том, что подобные статьи почти всегда отражают мнение какой-либо одной стороны, поскольку у журналистов обычно не хватает времени для сбора всей необходимой информации – ведь каждый желает выпустить материал первым. Так что времени на серьёзные исследования не бывает. Как вы понимаете, опасность здесь заключается в том, что эта таинственная “внутренняя” информация тоже может легко использоваться в качестве маркетингового инструмента. Читатели, с другой стороны, хорошо “клюют” на “горячие” заголовки и могут не раскусить всей сути проблемы. Итак, вы можете добавить ещё одну дилемму в наш список нерешённых проблем.
Отдел маркетинга ATi очень агрессивен на пресс-конференциях. Он зашёл столь далеко, что стал называть nVidia GeForce FX 5200 “замедлителем DirectX 9 ” в последней презентации для прессы.
nVidia тоже поусердствовала в деле создания ярких заголовков ещё в марте 2001. Разница заключается в том, что этот документ никогда не предназначался для широкой огласки – он служил для тренировки менеджеров по продажам.
Мы также получили некоторую информацию, что ATi собирает список всех “грехов” nVidia. Скорее всего, ATi благополучно выдаст этот список прессе. Так что не удивляйтесь, если в скором времени вы наткнётесь на заголовок типа “Разоблачение грязной тактики nVidia!”. Вероятно, сегодня за кулисами идёт очередная борьба – кто же первым опубликует следующую пикантную историю. Не нужно даже и намекать, что nVidia тоже собирает подобный список. На данный момент компания не планирует его публиковать, поскольку подобные битвы в грязи могут повредить всей индустрии.
И что нам делать?
Пришло время надавить как на ATi, так и на nVidia, и заставить эти компании опубликовать подробную информацию о своих продуктах. Даже Intel, чей девиз гласит “выживают только параноики”, часто обновляет доступные для публики данные по своим продуктам! Именно атмосфера секретов и недоверия приводит к тому, что мы наблюдаем развитие грязного маркетинга. Потребитель имеет право знать, сбойный у него продукт или ошибочный, или, как в случае с некоторыми картами nVidia, он использует сомнительные методы. В то же время авторам в своих репортажах следует меньше идти на поводу у сенсаций и всегда оглашать суть проблемы и источник информации. Читатель имеет право знать источник информации, к тому, же ведь и любой уважающий себя журналист не будет его скрывать.
Пока что обе компании утаивают информацию и продают свои продукты так, как им удобнее всего. Затем компании устраивают утечку информации в прессу, которая либо показывает конкурента в плохом свете, либо благословляет “новую удивительную возможность” одного из будущих продуктов. Затем всё начинается по новой.
Только лишь пресса может разорвать этот порочный круг, когда выдача информации напоминает холодную войну. Так может, хватит быть заложниками? Неплохо было бы потребовать открытой и детальной информации от обеих компаний.
Мы не имеем в виду, что пресса должна прекратить сообщать о непристойном поведении, противоречиях и интригах внутри индустрии. Просто, ведь можно делать это иначе.