Тесты производительности web-браузеров: сравнение пяти самых популярных решений – THG.RU

Введение

“Самый быстрый браузер на Земле”. Такая надпись недавно появилась на сайте Opera. После пяти релиз-кандидатов и двух бета-версий ребята из Осло, наконец, выпустили финальную сборку Opera 10.50. Впрочем, это довольно сильное заявление, особенно если учесть прочно установившуюся конкуренцию на рынке браузеров, демонстрирующих впечатляющую производительность совершенно бесплатно. Посмотрим, оправдает ли Opera такое смелое заявление.

Из-за шумихи вокруг планшетного компьютера iPad многие могли упустить из виду, что компании Mozilla и Google тоже недавно выпустили новые версии своих web-браузеров. И Opera не единственный производитель, делающий громкие заявления по поводу производительности. В дни, предшествующие анонсу невероятно разрекламированного планшета Apple, Mozilla выпустила браузер Firefox 3.6 и заявила о 20%-ном увеличении скорости по сравнению с предыдущей версией 3.5. Тремя днями позже Google без лишнего шума сообщила о выпуске стабильной версии браузера Chrome 4.0 Stable (полностью номер версии в наших тестах выглядел так: 4.0.249.78).

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Не будем забывать, что у Apple тоже есть свой web-браузер. Компания заявляет, что Safari является самым быстрым браузером в мире. Где-то мы уже это слышали? Даже Internet Explorer, у которого с прошлого года не было никаких релизов, недавно засветился в заголовках статей. Но основное внимание привлекают именно обвинения, выдвигаемые против IE.

Всё больше слышны заявления о том, что многие откажутся от браузера Microsoft, включая Министерство национальной безопасности, такие компании, как McAfee и Google, и даже некоторые иностранные правительства. Если этот браузер такой плохой, то почему тогда все до сих пор им пользуются? Есть ли оправдание тому, почему почти 60% пользователей Интернета по-прежнему склоняются к выбору IE?

Мы решили, что пришла пора протестировать все пять основных web-браузеров, чтобы окончательно установить, какой же из них является самым быстрым (по крайней мере, до тех пор, пока один из производителей не выпустит очередное серьёзное обновление).

Тестовая конфигурация и методика тестирования

Почему Windows?

Если вы внимательно следите за нашими статьями, то знаете, что мы опубликовали несколько материалов, посвящённых работе под Linux. На этот раз в качестве операционной системы мы выбрали Windows по трём основным причинам. Во-первых, этой операционной системой пользуется большинство наших читателей. Во-вторых, Windows поддерживает “родные” версии всех пяти основных web-браузеров. В-третьих, Opera сделала заявление о том, что её браузер версии 10.50 является самым быстрым на Земле, когда была выпущена версия 10.50 только для Windows (версии под Mac и Linux должны были выйти после написания статьи).

Мы выбрали Windows 7 просто потому, что это самая свежая версия, и отдали предпочтение Ultimate Edition, потому что это максимальная редакция. Наконец, мы взяли 64-битную версию, поскольку у большей части наших читателей, наверняка, новое “железо” (и много памяти), что требует 64-битной операционной системы.

Установка

Установив Windows, мы обновили операционную систему, прежде чем ставить браузеры. После браузеров мы установили SilverLight, Flash и Java. Большинство тестов мы запускали по пять раз для каждого браузера (если специально не оговорено иное).

Методика

Перед каждым новым тестом мы давали операционной системе “разогреться”. В конце каждого тестового прогона очищался кэш всех браузеров, и перед началом нового теста производился сброс системы.

Примечание редактора

Для информации я приведу собственную историю использования браузеров. Я работаю под Chrome вот уже несколько месяцев. До него я пользовался Firefox с момента появления этого браузера. Я неохотно признаюсь, что перешёл на Internet Explorer с версии version 3.0, а до него я пользовался Netscape Navigator. То есть на данный момент я уже несколько лет не пользуюсь Internet Explorer, а браузер Safari до этой статьи я вообще “не трогал”. Я пробовал работать в Opera после выхода каждой новой версии, но не выдерживал его больше двух недель.

Результаты тестов

Время запуска

Чтобы протестировать время запуска, мы установили тестовые web-страницы в качестве домашних для каждого браузера и перед тестированием загрузили каждый сайт в кэш. Мы перезагружали ОС и давали ей “разогреться” перед каждой тестовой попыткой. Время измерялось с помощью секундомера (в секундах). Отсчёт времени начинался с момента нажатия на отдельную иконку браузера и заканчивался тогда, когда браузер сообщал о полной загрузке локально сохранённых и кэшированных web-страниц. Процесс повторялся по пять раз для каждого браузера, после чего мы брали среднее время.

Мы воспользовались рейтингом Quantcast Top 100, чтобы отобрать восемь популярных web-страниц для нашего тестирования. Главная страница Google использовалась в тесте с одной вкладкой. Bing, Hulu, Twitter и Wikipedia дополнили наш тест с пятью вкладками, а для тестирования с восьмью вкладками мы добавили к этому списку craigslist, Facebook и YouTube. Изначально мы хотели измерить время запуска браузеров с десятью вкладками, но Internet Explorer позволяет использовать максимум восемь вкладок в качестве домашних.

Неудивительно, что Chrome запустился быстрее своих конкурентов. В конце концов, быстрый запуск был одной из основных целей Google при разработке браузера Chrome. По-настоящему удивило то, как долго этот процесс занял у Safari: целых 10 секунд по сравнению с 1 секундой у Chrome и 4 секундами у Firefox.

В тестировании времени запуска с пятью вкладками браузер Opera поднялся на верхнюю строчку таблицы, за ним с небольшим отрывом следует Internet Explorer. Chrome и Safari заняли третье и четвёртое место, а браузер Firefox от всех отстал.

И снова браузер Opera быстрее всех загрузил все страницы, за ним следом идут Chrome, Firefox и IE. На загрузку восьми страниц у Safari ушло вдвое больше времени, чем на пять страниц. Поскольку замер времени происходит с помощью секундомера, разница в 0,3 секунды при загрузке страниц браузером Opera вполне может быть результатом человеческой погрешности. По сути, это означает, что три дополнительные вкладки ничуть не приостановили Opera. Впечатляет, не так ли?

Использование памяти

С помощью программы “Windows Task Manager/Диспетчер задач Windows” мы выяснили, что наша операционная система (64-битная Windows Ultimate) при загрузке использует примерно 18% физической памяти (около 700 Мбайт). И Chrome, и Internet Explorer имеют две записи в “Windows Task Manager/Диспетчере задач Windows”, когда открыто только одно окно и одна вкладка. Оба браузера добавляют дополнительные записи (строки) при открытии новых вкладок и окон. Все использованные нами web-страницы были сохранены на жёсткий диск 23 января 2010 года.

В тесте с одной вкладкой мы использовали главную страницу Google.

Apple Safari использует меньше всего памяти при открытии всего одной вкладки и одного окна. Google Chrome тоже использует мало памяти. Opera потребляет больше всего ресурсов памяти: почти вдвое больше, чем занявший третье место Internet Explorer.

Для теста с пятью вкладками мы выбрали Bing, Google, Hulu, Twitter и Wikipedia.

На этот раз лидером по экономичному использованию памяти стал Firefox. Браузер Opera занял последнее место, а Chrome лишь ненамного обогнал его – оба потребили почти в два раза больше памяти, чем Firefox.

Для теста с десятью вкладками мы добавили craigslist, Facebook, Tom’s Hardware, Yahoo! и YouTube к предыдущим пяти страницам (Bing, Google, Hulu, Twitter и Wikipedia).

Firefox снова использует меньше всего памяти, а Chrome и Opera заняли четвёртое и пятое места, соответственно. На этот раз Opera потребил более чем вдвое больше памяти, чем лидер Mozilla Firefox.

Больше всего нас удивило то, что Opera и Chrome показали такой плохой результат при открытии нескольких вкладок. Здесь браузер Firefox экономичнее всех использует память: он занял первое место в тестах с пятью и десятью вкладками, но финишировал четвёртым в тесте с одной вкладкой.

Время загрузки страниц

Время загрузки страниц замерялось с помощью кастомизированной версии WebMonkey Browser Load Time StopWatch JavaScript (нет, не от LifeHacker). Помимо Tom’s Hardware Guide, мы выбрали ещё четыре популярных web-сайта из списка Quantcat Top 100: craigslist, Facebook, Yahoo! и YouTube. Все пять web-страниц были сохранены на жёсткий диск 23 января 2010 года. Мы запустили тестовый JavaScript во всех пяти браузерах по пять раз. Для получения итогового балла мы взяли средний результат всех пяти запусков. Время было зафиксировано JavaScript в миллисекундах.

craigslist

Не удивительно, что страница craigslist первой загрузилась во всех браузерах, за исключением Internet Explorer. Этому, скорее всего, способствовал систематизированный простой дизайн сайта и полное отсутствие Flash-контента.

Chrome лидирует по времени загрузки простой домашней страницы craigslist, за ним следом идут Firefox и Safari. Internet Explorer занял четвёртое место, а браузер Opera финишировал самым последним.

Facebook

Разница во времени загрузки страницы Facebook разными браузерами колеблется больше всего из всех проведённых тестов.

Это один из немногих тестов, где Internet Explorer обошёл остальные браузеры. Не знаем почему, но браузер Microsoft очень быстро загрузил домашнюю страницу Facebook. Firefox, Chrome и Opera заняли второе, третье и четвёртое места (соответственно). На выполнение этого задания Safari понадобилось почти вдвое больше времени, чем финишировавшему вторым браузеру Firefox, и более чем в четыре раза больше времени, чем IE.

Tom’s Hardware

Браузер Firefox первым загрузил сайт Tom’s Hardware, за ним с небольшим отрывом следуют Chrome, Safari и Opera. Internet Explorer загружал нашу страницу дольше всех.

Yahoo!

Время загрузки Yahoo! браузером Safari колебалось аж на 100% во время тестов. Наряду с Facebook, это самое значительное отклонение в тестах на время загрузки страниц.

Домашнюю страницу Yahoo!, так же, как и Facebook, быстрее всех загрузил браузер Internet Explorer. Но этот раз за ним следом идут Chrome, Safari и Opera. Последним финишную черту пересёк Firefox.

YouTube

Браузер Opera успешнее всех справился с загрузкой сверхпопулярного видеосервиса. Firefox (второй) и Internet Explorer (третий) финишировали почти одновременно. Chrome и Safari завершили загрузку четвёртым и пятым.

Полагаем, что победителем в этих тестах можно считать браузер Firefox. Несмотря на то, что он последним загрузил домашнюю страницу Yahoo!, Mozilla Firefox один раз был на первой строчке и три раза на второй. Internet Explorer тоже хорошо показал себя в этих тестах. Он занял первое место в двух тестах из пяти. По сравнению с остальными браузерами, Opera и Safari справились хуже, хотя Opera один раз победила, невероятно быстро загрузив YouTube.

HTML, CSS и таблицы

Тесты, представленные в данном разделе, отражают способность браузеров загружать простые web-страницы, содержащие только HTML и CSS (с таймерами JavaScript). Мы также включили сюда тест NonTroppo Page Loading Test, поскольку он даёт представление о времени загрузки подобных web-страниц, что полезно для сравнения с нашим кастомизированным тестом Webmonkey JavaScript из предыдущего раздела.

Тест загрузки страницы NonTroppo

Данный тест определяет время загрузки очень простой web-страницы, состоящей из текста и картинок в таблице. Апплет JavaScript считает время загрузки.

Браузер Safari справился с загрузкой этой страницы быстрее всех, за ним следом идёт Chrome. Третье место занимает Opera, удвоив время загрузки Chrome и почти утроив время Safari. Браузер Firefox с большим отрывом занял четвёртое место, а Internet Explorer финишировал последним, почти удвоив время Firefox.

GUIMark HTML

Это HTML-версия теста GUIMark UI.

В этом тесте браузер Apple с неплохим отрывом обошёл своих конкурентов. Браузер Google оказался последним, едва достигнув девяти кадров в секунду.

NonTroppo CSS Rendering

В данном тесте проверяется скорость, с которой браузеры обрабатывают страницу, нагруженную элементами CSS.

Safari снова занимает первое место, за ним следует Chrome. С большим отставанием Opera занимает третье место, а Firefox – четвёртое. Internet Explorer финишировал последним с огромным отрывом.

NonTroppo Table Rendering

Тест NonTroppo Table Rendering состоит из простой web-страницы с огромной таблицей и таймером JavaScript. Мы использовали данный тест для записи времени загрузки целой страницы.

Результат теста обработки таблицы повторяет результаты других тестов NonTroppo: Safari, Chrome, Opera, Firefox, затем Internet Explorer.

JavaScript

Тестов JavaScript почти столько же, сколько браузеров, и мы решили запустить их всех, поскольку каждый браузер ссылается на определённый тест. В некоторых случаях, производитель браузера выпускает и соответствующий тест.

Google V8

Тестовый пакет Google V8 Benchmark Suite состоит из семи отдельных тестов JavaScript, среднее геометрическое значение которых является баллом V8 Score. Можно предположить, что в этом тесте победит Chrome, поскольку оба проекта принадлежат Google. На самом деле, данный тест предназначен для тестирования одноимённого JavaScript-движка Google. Мы запустили программный пакет пять раз, и взяли средний результат. Использовалась версия Version 5 пакета Google V8 Benchmark Suite.

Как видите, результат вполне ожидаем: победил браузер Chrome, Opera постарался занять второе место, Safari с большим отрывом идёт третьим, но всё равно намного опережает двух оставшихся конкурентов.

JSBenchmark (CelticKane)

Тест JSBenchmark не является новым; на самом деле, он какое-то время носил имя Celtic Kane. Данный тест занимает лишь секунды и даже автоматически предоставляет средний результат всех попыток. Мы запустили JSBenchmark пять раз.

JSBenchmark показал почти такие же результаты, как Google V8 Benchmark, только на этот раз браузер Safari обошёл Opera и занял второе место. Chrome снова лидировал с большим преимуществом, а Internet Explorer оказался на самой последней строчке.

Mozilla Dromaeo Javascript

Понятно, что это JavaScript-тест от компании Mozilla, производителя Firefox. Поскольку тест Dromaeo JavaScript возвращает удивительно близкие результаты, мы выполнили всего по три запуска для каждого браузера. Средний балл трёх запусков стал окончательным результатом. Internet Explorer “подвис” во время кодирования и декодирования Base 64. Приостановка с последующим немедленным перезапуском теста решила проблему. Браузер Opera “подвис” на Regular Expressions в Dromaeo JavaScript, и как в случае с IE, помогла приостановка с последующим перезапуском.

В тесте Mozilla браузер Opera оказался далеко впереди. Настолько далеко, что мы засомневались в таком результате, особенно учитывая возникшие ошибки. С огромным отрывом Chrome финишировал вторым, а Safari – третьим (но всё же он опередил Firefox и Internet Explorer).

SunSpider

SunSpider – это JavaScript-тест, разработанный Apple для браузера Safari. Проект SunSpider изначально создавался командой Apple WebKit. Результаты данного теста довольно стабильны, поэтому нам пришлось запустить его всего по три раза. Как обычно, финальным баллом стал средний из трёх результатов.

Здесь мы видим, что браузер Chrome вышел в лидеры, но Opera “наступает ему на пятки”. Firefox уступает Safari, а IE, как и следовало ожидать, с большим отрывом занимает последнее место.

Изучив тесты JavaScript, мы пришли к выводу, что в дальнейшем нам придётся запускать их всех. Хотя лично мы склоняемся к тесту JSBenchmark, поскольку он не связан ни с каким браузером, его результаты не совпадают с результатами в Dromaeo. До тех пор, пока не будет выяснена причина такого разгромного отрыва браузера Opera в тесте Mozilla, мы будем пользоваться всеми тестами JavaScript, чтобы получить более объективную картину.

PeaceKeeper, Acid3 и DOM

Futuremark PeaceKeeper

PeaceKeeper – это бесплатный онлайновый синтетический тест для браузеров от компании Futuremark, производителя популярной тестовой программы под Windows – 3DMark. Данный тест проверяет производительность браузера независимо от вашего сетевого подключения и синтезирует суммарный результат всех входящих в него тестов. PeaceKeeper является кроссплатформенным приложением и может использоваться для сравнения баллов разных браузеров в разных операционных системах. Мы запустили PeaceKeeper три раза и взяли средний результат.

Браузер Opera в тестах PeaceKeeper вышел на первое место, за ним следует Chrome. Safari и Firefox с небольшим отрывом друг от друга заняли третье и четвёртое место, а Internet Explorer финишировал последним с результатом почти в четыре раза меньше, чем у Mozilla и Apple.

Acid3

Acid3 не является тестом на производительность. Acid3 проверяет соблюдение браузерами web-стандартов. Поскольку результат при каждом запуске будет одним и тем же, мы запустили данный тест только один раз для каждого браузера.

На картинках ниже видно, как должен выглядеть успешно пройденный тест Acid3, а также результаты для браузеров Firefox и IE.

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Нажмите на картинку для увеличения.

Браузеры Opera и Safari набрали в тесте Acid3 100%, но не так быстро и гладко, как Chrome. Safari ненадолго “завис” на 69%, прежде чем завершил тест с отличным результатом. Браузер Opera тоже “завис”, но на 26%. Поскольку Acid3 требует не только максимальный итоговый результат в 100%, но и чёткое и гладкое выполнение, нам пришлось объявить победителем браузер Chrome, хотя Opera и Safari тоже набрали 100%.

Mozilla Dromaeo DOM

Это полный DOM-тест из Mozilla Dromaeo Benchmark. На его выполнение требуется больше всего времени, поэтому мы запускали его по три раза вместо пяти и, как обычно, взяли средний результат.

Opera и Internet Explorer дважды “подвисали” во время выполнения части DOM Query теста Mozilla DOM. Пауза и последующий перезапуск в обоих случаях помогли продолжить тестирование. Однако в итоге IE выполнил около 80% тестового задания перед переходом к следующей части теста, а Opera выполнил около 95%. Такая ситуация повторялась на всех трёх попытках тестирования обоих браузеров.

В тесте Dromaeo DOM браузеры Chrome и Safari почти одновременно заняли первое место. Несмотря на все ошибки, браузер Opera финишировал третьим. Firefox занял четвёртое место, а IE – предсказуемое последнее.

Flash, Java и SilverLight

GUIMark Flash

Это Flash-версия теста GUIMark; мы использовали версию Flex 3. Тест запускался по пять раз, и в качестве итогового балла был взят средний результат.

При открытии GUIMark Flash браузер Opera очень “тормозил” и “подвисал”. Справиться с этим удалось после того, как мы свернули и развернули окно. Такая ситуация повторялась не на всех попытках; три из пяти тестов прошли гладко.

И снова, несмотря на ошибки, в этом тесте победил браузер Opera. За ним следуют Firefox, Safari и Internet Explorer с почти одинаковыми результатами, а Chrome финиширует последним.

GUIMark Java

GUIMark тестирует разные технологии отображения интерфейса пользователя, включая Java. Мы запустили тест по пять раз и взяли средний результат. Использовалась версия Java 5 Swing теста GUIMark Java.

Результаты данного теста очень близки, только браузер Opera оторвался от остальных. Финишировавший вторым Firefox опередил занявшего третье место Safari всего на одну пятую кадра в секунду.

Bubblemark SilverLight

Bubblemark использовался для проверки того, как каждый браузер справится с контентом SilverLight. Мы запустили версию SilverLight 2.0 (CLR), выбрав 32 шарика. Тест запускался по пять раз, в качестве итогового балла был взят средний результат.

Firefox и Internet Explorer набрали одинаковое количество баллов и заняли первое место. Браузер Opera стал вторым, а Safari и Chrome заняли последние строчки таблицы.

Заключение

На этом наше тестирование браузеров подошло к концу. Некоторые результаты не стали для нас открытием, например, то, как плохо Internet Explorer поддерживает web-стандарты (Acid3). Впрочем, было много интересных фактов, таких как чрезмерное использование памяти браузером Opera или высокая производительность Safari по сравнению с гораздо более новыми версиями других браузеров. Мы знали, что Firefox уже становится медленным, но не предполагали, что до такой степени. Safari не подтвердил смелого заявления о том, что он является самым быстрым браузером в мире. Продукт Apple был повергнут браузером Opera, а его титул перешёл к Chrome. Хотя Opera приблизилась к тому, чтобы быть самым быстрым браузером на Земле, это утверждение всё же не было доказано на все 100%. Настоящим “королём скорости” стал Google Chrome. В таблице ниже представлено распределение мест для каждого браузера.

В тесте Acid3 браузер Chrome получил первое место, а Opera и Safari были объявлены вторыми. Firefox стал третьим. Четвёртое место не отдано никому, а Internet Explorer опустился на пятую строчку из-за своего ужасно низкого результата в этом тесте. В SilverLight на одно место тоже было несколько претендентов. На этот раз первое место разделили IE и Firefox. Второе место было отдано браузеру Opera, на третье место мы никого не поставили. Поскольку Safari получил почти вдвое меньше баллов, чем Opera, мы присудили ему четвёртое место, а Chrome занял пятое место. Мы также засчитали сомнительную победу браузера Opera в тесте Mozilla Dromaeo JavaScript, несмотря на ошибки, из-за которых он не мог завершить часть теста. Если бы мы этого не сделали, то победа браузера Chrome была бы ещё более ошеломительной.

Как видите, Google Chrome выходит в лидеры. Хотя браузеры Chrome и Opera одинаковое число раз занимали первое место, Chrome смог победить за счёт большего количества вторых мест.

Несмотря на то, что Safari давно не обновлялся и, тем не менее, неплохо выступил, мы не можем ждать, пока Apple соберётся выпустить новую версию.

С браузером Mozilla обратная ситуация. Хотя можно считать, что версия 3.6 значительно улучшена по сравнению с версией 3.5.x, этого оказалось недостаточно для того, чтобы составить конкуренцию. Учитывая, что новая версия Mozilla ещё совсем свежая, результаты тестирования этого браузера нас разочаровали.

Что касается браузера Internet Explorer, повергнувшего в своё время Netscape Navigator, он финишировал последним не менее 14 раз (более чем в половине тестов). Плачевная производительность.

Чтобы вы не критиковали нас за избыточное количество тестов JavaScript, представим вашему вниманию победителей по категориям. Три теста на время запуска считаются как один. Три теста на использование памяти тоже относятся к одной категории. Тесты на загрузку пяти страниц, так же как и тесты NonTroppo, тоже вынесены в одну категорию. В следующей таблице представлены победители по категориям.

В отличие от предыдущей таблицы, отображающей места, здесь указаны победители в отдельных категориях. Хотя может показаться, что браузер Opera чаще становился победителем, чем Chrome, здесь не показано, сколько раз Chrome обходил данный браузер, когда ни тот, ни другой не занимали верхнюю строчку. Данная таблица также не отражает, что Safari придерживался середины, а Firefox очень часто был четвёртым.

Как бы то ни было, Google Chrome выходит в лидеры, поэтому мы не только объявляем его победителем в этом тестировании, но и присуждаем ему номинацию “THG рекомендует” (впервые мы присуждаем эту номинацию программному продукту). Если вы до сих пор не скачали Google Chrome, то вы просто не знаете, что потеряли.

Данное тестирование даёт нам достаточно хорошее представление о том, какой браузер является самым быстрым. Правда, эти тесты не проверяют удобство использования браузеров. Ошеломляющее количество опций настроек для Firefox или постоянные (и ужасно надоедливые) подсказки в Internet Explorer – это лишь пара примеров того, что нельзя протестировать. Безопасность тоже имеет большое значение, но и она не проверялась в нашем тестировании. Мы сконцентрировались исключительно на скорости и производительности, и в этом плане браузер Google Chrome “взял золото”, по крайней мере, на данном этапе развития браузеров.