Тест и сравнение веб-браузеров | Пять лучших
Это первые тесты веб-браузеров на Windows 7, в которых используется новая система подсчёта показателей, она впервые была представлена в обзоре Web Browser Grand Prix: Chrome 18, Firefox 11, Windows XP. В нашем тестовом стенде процессор Core i5 на старой архитектуре Lynnfield был заменен на более свежий чип Sandy Bridge, а видеокарту Radeon HD 4870 недавно сменила модель Radeon HD 7770. Тестовый пакет тоже подвергся значительным изменениям. Мы отказались от пяти старых бенчмарков, и добавили десять новых, а также ввели комбинированный подсчёт показателей почти для каждой категории.
Но прежде чем мы перейдём к тестированию, давайте ознакомимся с основными событиями, которые произошли со времени нашего последнего веб-браузерного гран-при.
Последние новости и события:
- 24.04.12: Mozilla выпустила Firefox 12;
- 25.04.12: Mozilla официально перестала выпускать обновления для Firefox 3.6;
- 09.05.12: Apple обновила Safari до версии 5.1.7;
- 11.05.12: Mozilla обвиняет Microsoft за блокировку сторонних браузеров в Windows RT (Windows 8 для ARM);
- 11.05.12: Internet Explorer может появиться в XBox 360 Kinect;
- 16.05.12: Google выпустила Chrome 19;
- 16.05.12: Доля IE на общем рынке упала ниже 30% впервые за 15 лет;
- 22.05.12: Chrome обходит IE на рынке и становиться самым используемым веб-браузеров в мире;
- 23.05.12: Microsoft заявляет, что статистика использования StatCounter для Google Chrome была подделана;
- 25.05.12: Yahoo! выпустила Axis – браузер iOS с аддонами для Chrome, Firefox и Safari;
- 26.05.12: Появились слухи, что Facebook собирается купить Opera Software;
- 01.06.12: Facebook внезапно прекратил рекомендовать Opera;
- 02.06.12: Microsoft собирается включить поддержку статуса “Do Not Track” (“не отслеживать”) в IE10;
- 04.06.12: Mozilla выпустила Firefox 13;
- 08.06.12: Условия Do Not Track не позволяют браузером включать статус без согласия пользователя;
- 10.06.12: Google обещает выпустить версию Metro браузера Chrome для Windows 8;
- 11.06.12: Apple выпустила предварительную версию Safari 6;
- 15.06.12: Mozilla обновила Firefox до версии 13.0.1;
- 18.06.12: Появилась Opera 12 с недоделанным аппаратным ускорением;
- 19.06.12: StatCounter ответила Microsoft, оспорив критику Редмонда по поводу их методологии;
- 20.06.12: Американский конгресс утвердил опцию Do Not Track для IE10;
- 27.06.12: Google выпустила Chrome 20;
- 11.07.12: Google обновляет Chrome до версии 20.0.1132.57 (однако в текущем тесте мы использовали версию от 27.06.12).
Теперь, когда мы в курсе последних событий, давайте перейдём к обзору участников.
Тест и сравнение веб-браузеров | Chrome, Firefox, IE9, Opera, And Safari
Предыдущие чемпионы гран-при веб-браузеров
Поскольку результаты гран-при веб-браузеров сильно зависят от операционной системы, мы разделили список чемпионов, чтобы оставить тех, кто победил в ОС Windows 7.
Chrome также заработал две победы под Ubuntu, Safari две победы под OS X, Opera выиграла под Windows XP, все они остаются действующими чемпионами на этих платформах. В прошлый раз в Windows 7 победил браузер Firefox, теперь и у Firefox и Chrome по три победы. Заинтригованы?
Текущие участники гран-при веб-браузеров
Chrome | |
Разработчик | |
Премьера | 09.02.2008 |
Текущая версия | 20 |
Движок вывода | WebKit |
Движок JavaScript | V8 |
Поддерживаемые платформы | Windows, Mac, Linux, Android, iOS |
Аппаратное ускорение HTML5 | да |
WebGL | да |
Участвовал в Гран-при на Windows 7, раз | 3 |
Учавствовал всего в Гран-при, раз | 5 |
Chrome 20 на Windows 7
Firefox | |
Разработчик | Mozilla |
Премьера | 11.09.2004 |
Текущая версия | 13 |
Движок вывода | Gecko 2.0 |
Движок JavaScript | JaegerMonkey |
Поддерживаемые платформы | Windows, Mac, Linux, Android |
Аппаратное ускорение HTML5 | да |
WebGL | да |
Участвовал в Гран-при на Windows 7, раз | 3 |
Учавствовал всего в Гран-при, раз | 3 |
Firefox 13.0.1 на Windows 7
Internet Explorer | |
Разработчик | Microsoft |
Премьера | 16.08.1995 |
Текущая версия | 9 |
Движок вывода | Trident |
Движок JavaScript | Chakra |
Поддерживаемые платформы | Windows (Vista и 7) |
Аппаратное ускорение HTML5 | да |
WebGL | нет |
Участвовал в Гран-при на Windows 7, раз | 2 |
Учавствовал всего в Гран-при, раз | 2 |
Internet Explorer 9 на Windows 7
Opera | |
Разработчик | Opera Software |
Премьера | 12.09.1996 |
Текущая версия | 12.00 |
Движок вывода | Presto |
Движок JavaScript | Carakan |
Поддерживаемые платформы | Windows, Mac, Linux, Android, iOS |
Аппаратное ускорение HTML5 | нет |
WebGL | нет |
Участвовал в Гран-при на Windows 7, раз | 1 |
Учавствовал всего в Гран-при, раз | 2 |
Opera 12 на Windows 7
Safari | |
Разработчик | Apple |
Премьера | 01.07.2003 |
Текущая версия | 05.01.2007 |
Движок вывода | WebKit 2 |
Движок JavaScript | Nitro |
Поддерживаемые платформы | Windows, OS X, iOS |
Аппаратное ускорение HTML5 | только OS X |
WebGL | нет |
Участвовал в Гран-при на Windows 7, раз | 0 |
Учавствовал всего в Гран-при, раз | 2 |
Safari 5.1.7 на Windows 7
Теперь перейдём к тестовой системе.
Тест и сравнение веб-браузеров | Конфигурация тестовой системы и ПО
Аппаратная конфигурация
Конфигурация тестовой системы | |
Операционная система | Microsoft Windows 7 Ultimate (64-bit) |
Процессор | Intel Core i5-2500K @ 3,3 ГГц, четыре ядра |
Материнская плата | Gigabyte GA-Z68XP-UD3 (F10 BIOS) |
Оперативная память | 8 Гбайт Crucial DDR3 @ 1333 MT/с (2 x 4 Гбайт) |
Видеокарта | Asus Radeon HD 7770 1 Гбайт GDDR5 (PCIe 2.0 x16) |
Жёсткий диск | Seagate Barracuda 7200.12 500 Гбайт SATA 3Гбит/с, 7200 об/мин, кеш 16 Mбайт |
Оптический привод | Asus DRW-24B1ST/BLK/B/AS |
Блок питания | Corsair TX750W (750 Вт) |
Корпус | Zalman MS1000-HS2 |
Кулер CPU | Scythe Mugen 2 Revision B |
Клавиатура | Logitech Wireless Keyboard K320 |
Мышь | Logitech Wireless Trackball M570 |
Рабочий стол тестового стенда для гран-при веб-браузеров
В следующей таблице содержатся характеристики системы локального веб-сервера, который используется для тестов скорости запуска и загрузки страниц наряду с JSGameBench.
Конфигурация локального web-сервера | |
Операционная система | Ubuntu 12.04 LTS Server Edition “Precise Pangolin” (32-bit) |
Процессор | Intel Pentium 4 @ 2,41 ГГц |
Материнская плата | Biostar P4M80-M4 |
Оперативная память | 768 Мбайт DDR @ 333 МГц |
Видеокарта | Nvidia GeForce FX 5500 128 Мбайт DDR (AGP) |
Жёсткий диск | Western Digital Caviar SE WD1600AAJD, 160 Гбайт EIDE, 7200 об/мин. |
Оптический привод 1 | Hitachi-LG DVD GDR-8163B |
Оптический привод 2 | Hitachi-LG CD-RW GCE-8483B |
Дополнительно | Apache2, MySQL Client, MySQL Server, PHP5, PHP-GD, PHP5-MySQL, PHPMyAdmin, SSH, Node.js, NPM |
В таблице ниже находится дополнительная информация о тестовой сети.
Конфигурация сети | |
Интернет провайдер | Cox Preferred (18/2 Мбит/с) |
Модем | Motorola SURFboard SBS101U |
Роутер | Linksys WRT54G2 V1 |
Motorola SURFboard SBS101U
Linksys WRT54G2
Программная конфигурация
Обе тестовые системы были заново установлены и полностью обновлены. Перед тестированием управление питанием и автоматическое обновление были отключены.
Все установленное ПО, включая версии тестируемых веб-браузеров, перечислено в таблице, расположенной ниже.
Программа | Версия |
Chrome | 20.0.1132.43m |
Firefox | 13.0.1 |
Internet Explorer | 9.0.8112.16421 |
Opera | 12.00 (build 1467) |
Safari | 5.1.7 (7534.57.2) |
Adobe Flash | 11.3.300.257 |
AMD Catalyst | 8.961-120405a-137813C-ATI |
Microsoft Silverlight | 5.5.10411.0 |
Oracle Java | 7.0.50 |
Тест и сравнение веб-браузеров | Тестовый пакет и методика тестирования
Большие изменения
Мы заменили GUIMark 2 Flash, GUIMark Java и Encog Silverlight пятью тестами от RIABench Flash, Java и Silverlight. Также для тестирования JavaScript мы добавили RIABench JavaScript – давно ожидаемую замену JSBenchmark и V8. Хотя RIABench состоит из десяти отдельных тестов, два из них нам недоступны, один вызывает ошибку 404, у Safari проблемы с одним, а у IE с другим.
Также мы заменили Dromaeo DOM на Acid3, потому как у первого возникали трудности с веб-браузерами на движке WebKit под Windows.
Для баланса с бенчмарком Maze Solver CSS3 мы добавили ещё один тест CSS.
Тест Mozilla Hardware Acceleration Stress Test заменён на WebVizBench, у которого более высокий предел по показателям.
Также мы изучаем общую отзывчивость в тестах использования памяти при 40 открытых вкладках.
И наконец, мы нашли тест безопасности, который по-прежнему остаётся актуальным и работает со всеми веб-браузерами.
Наши тесты больше не помещаются в группы ядро, просмотр, данные и карантин. После существенного обновления тестового пакета и введения комбинированного подсчёта показателей для каждой тестовой категории в этом просто нет необходимости.
Тестовый пакет гран-при веб-браузеров v11
В таблице, размещённой ниже, находится список всех 34 бенчмарков (состоящих из 66 отдельных тестов) составляющих наш текущий тестовый пакет, с номером версии и ссылкой (где это возможно), наряду с количеством проведённых повторов.
Тесты производительности (24 бенчмарков, 56 тестов) | |
Cold Startup Time: Single Tab (скорость холодной загрузки: одна вкладка) | 3 |
Hot Startup Time: Single Tab (скорость горячей загрузки: одна вкладка | 03.01.1900 |
Cold Startup Time: Eight Tabs (скорость холодной загрузки: восемь вкладок) | 03.01.1900 |
Hot Startup Time: Eight Tabs (скорость горячей загрузки: восемь вкладок) | 3 |
Uncached Page Load Times (8 Test Pages) (скорость загрузки не кэшированных страниц (8 страниц) | 5 |
Cached Page Load Times (8 Test Pages) (скорость загрузки кэшированных страниц (8 страниц) | 5 |
RIABench JavaScript (5 тестов) | 3 |
Mozilla Kraken v1.1 | 2 |
Google SunSpider v0.9.1 Mod | 2 |
FutureMark Peacekeeper 2.0 | 2 |
Acid3 | 5 |
Maze Solver | 5 |
CSS Stress Test and Performance Profiling – Tom’s Hardware | 2 |
GUIMark 2 HTML5 (3 теста) | 3 |
Asteroids HTML5 Canvas 2D And JavaScript | 2 |
HTML5 Canvas Performance Test | 2 |
Facebook JSGameBench v4.1 | 2 |
Psychedelic Browsing | 2 |
WebVizBench | 2 |
Mozilla WebGL FishIE | 2 |
WebGL Solar System | 2 |
RIABench Flash (5 тестов) | 3 |
RIABench Java (5 тестов) | 3 |
RIABench Silverlight (5 тестов) | 3 |
Тесты эффективности (4 бенчмарка/теста) | |
Memory Usage: Single Tab (использование памяти: одна вкладка) | 3 |
Memory Usage: 40 Tabs (использование памяти: 40 вкладок) | 3 |
Memory Management: -39 Tabs (управление памятью: -39 вкладок) | 3 |
Memory Management: -39 Tabs (extra 2 minutes) (управление памятью: -39 вкладок (2 дополнительные минуты) | 3 |
Тесты достоверности (1 тест) | |
Proper Page Loads (количество корректно загруженных страниц) | 3 |
Тесты отзывчивости (1 тест) | |
General Responsiveness Under Load (общая отзывчивость под нагрузкой) | 3 |
Тесты безопасности (1 тест) | |
BrowserScope Security | 1 |
Тесты совместимости (3 бенчмарка/теста) | |
Ecma test262 | 1 |
Peacekeeper 2.0 HTML5 Capabilities | 1 |
HTML5Test.com | 1 |
Методика тестирования
Перед проведением теста мы перезагружаем ПК и даем ему немного постоять без нагрузки. Большинство конечных результатов основываются на среднем показателе из нескольких повторов. Больше повторов проводится в тестах с низкой продолжительностью, малым весом, и/или высокими колебаниями показателей. Все замеченные прогоны со сбоями (обычно – заикания сети) проводятся заново.
Отдельные особенности методики и информация, касающаяся комбинированных показателей, описаны на соответствующих бенчмаркам страницах.
Тест и сравнение веб-браузеров | Скорость загрузки веб-браузера
Скорость загрузки измеряется на “холодном” веб-браузере (запуск программы после перезагрузки системы) и на “горячем” (браузер уже открывался и закрывался) при одной и восьми открытых вкладках.
Google.com служит тестовой страницей при одной вкладке, а для восьми вкладок мы дополнительно открываем главные страницы YouTube, Yahoo!, The Huffington Post, Amazon, Wikipedia, craigslist и eBay. Все тестовые страницы содержатся на нашем локальном веб-сервере и кэшированы в каждом веб-браузере.
Комбинированные показатели
Комбинированные показатели рассчитываются из средней скорости горячей и холодной загрузки с одной и восьмью вкладками.
Opera продолжает доминировать в тестах скорости загрузки с версией 12, средняя скорость загрузки этого браузера чуть больше 1,5 секунд. Chrome 20 занимает второе место с результатом 1,7 секунды, совсем близко следует Firefox 13, который в среднем загружается за 1,85 секунды. С заметным отставанием от первой тройки идёт Internet Explorer 9 со временем около четырёх секунд, Safari 5.1.7 завершает тест последним с результатом почти шесть секунд.
Подробности
В диаграммах, размещённых ниже содержатся результаты отдельных тестовых страниц, а также среднее время загрузки для кэшированных и не кэшированных страниц.
Одна вкладка
Восемь вкладок
Видно, что Opera без особых усилий обходит соперников, быстрее всех загружаясь во всех четырёх тестах. К тому же, скорость загрузки Opera близка между тестами, с великолепным показателем “холодного” запуска. У браузера Chrome самая длительная “холодная” загрузка с одной вкладкой, а у собрата по движку WebKit – Apple Safari – низкий показатель с восьмью вкладками при “холодном” запуске. IE9 достигает стабильных показателей во всех тестах, кроме теста “холодной” загрузки при восьми открытых вкладках, что значительно снижает средний показатель.
Тест и сравнение веб-браузеров | Скорость загрузки страницы
Для измерения скорости загрузки страницы мы используем те же восемь страниц, что и в тестах скорости загрузки веб-браузера: Google, YouTube, Yahoo!, Amazon, Wikipedia, craigslist, eBay и Wikipedia.
Комбинированные показатели
Комбинированные показатели рассчитываются из средней скорости загрузки кэшированных и не кэшированных страниц для всех восьми тестовых сайтов.
IE9 лидирует по скорости загрузки страницы со средним показателем 0,88 секунды. С небольшим отрывом следует Apple Safari, его результат – 0,9 секунды. Chrome располагается на третьем месте, ему в спину дышит Firefox, чье время составляет 0,95 секунды. Opera – единственный веб-браузер, который в среднем набрал больше одной секунды, и он уходит на последнюю позицию.
Подробности
В диаграммах, размещённых ниже, отображено среднее время загрузки кэшированной и не кэшированной страниц для каждого тестового случая.
Не кэшированные
Кэшированные
Opera демонстрирует странную скорость загрузки кэшированной страницы Amazon, при том, что с не кэшированной страницей всё в порядке. Этот результат вкупе с eBay и The Huffington Post помещают веб-браузер Opera на последнее место. У двух браузеров на WebKit (Google Chrome и Apple Safari) самая высокая средняя скорость загрузки кэшированных страниц, а у IE9 лучшее среднее время с не кэшированными страницами.
Тест и сравнение веб-браузеров | Производительность JavaScript
Комбинированные показатели
Комбинированные показатели в JavaScript рассчитываются из средних результатов трёх тестов, в каждом из которых меньшее значение – лучшее (RIABench, Mozilla Kraken и Google SunSpider), и обратного показателя “больше-лучше” теста Peacekeeper, чтобы получить общий показатель вида “меньше-лучше”.
Chrome 20 – единственный веб-браузер, который ушёл в минус, поэтому он лидирует. Firefox 13 набирает 19 баллов и заканчивает вторым. У Opera 12 уже заметно больше баллов – 897 и третье место. Safari 5 и IE9 с большим отрывом занимают четвёртое и пятое места, соответственно.
Подробности
В диаграммах, размещённых ниже, содержатся результаты отдельных тестов JavaScript.
RIABench JavaScript
Mozilla Kraken v1.1
Google SunSpider v0.9.1
FutureMark Peacekeeper v2.0
Safari проигрывает конкурентам в RIABench JavaScript и, похоже, не блещет в primetest и MD5-хэшировании. Internet Explorer тоже провалился в MD5-хешировании. Вместе с Firefox он демонстрирует не лучшие результаты и в кодировании. У Chrome худший результат в тесте генератора случайных чисел, но не плохой показатель в тестах RIABench.
RIABench, Kraken и Peacekeeper лучше работают с веб-браузерами Chrome, Firefox и Opera. Chrome 20 выходит вперёд во всех тестах JavaScript. А вот Apple Safari, кстати, тоже на движке WebKit, набирает мало баллов во всех перечисленных дисциплинах.
Тест и сравнение веб-браузеров | Производительность DOM и CSS
DOM
Поскольку Dromaeo по-прежнему не очень хорошо работает с веб-браузерами на базе WebKit под Windows, нам пришлось выбрать Acid3. Все пять участников проходят тест совместимости на сто процентов, поэтому мы используем время завершения в качестве резервного теста производительности. Если Dromeao снова начнёт работать с браузерами на базе WebKit под Windows, мы вернём его в наш тестовый пакет.
Safari лидирует со стабильны результатом в 0,31 секунды. IE9 финиширует вторым, сразу же за ним Goolge Chrome. Firefox занимает четвёртое место, а Opera, которая постоянно побеждала в тестах Mozilla Dromaeo DOM, финиширует последней.
CSS
Комбинированные показатели
Комбинированные показатели CSS рассчитываются из средних результатов бенчмарка Microsoft Maze Solver CSS3 и Andy Edinborough’s CSS Stress Testing and Performance Profiling, применяемым к копии главной страницы Tom’s Hardware, находящейся на нашем локальном сервере.
Побеждает веб-браузер Safari с выдающимся результатом – 3,68 секунды. Chrome 20 оказывается на второй позиции, а IE9 на третьей. Opera 12 финиширует четвёртой, и на последнем месте Firefox 13 со средним результат более 35 секунд.
Подробности
В диаграммах, размещённых ниже, содержатся результаты Maze Solver и CSS Stress Testing & Performance Profiling.
Microsoft Maze Solver
CSS Stress Testing & Performance Profiling
Как обычно, Firefox плохо себя показал в тесте Microsoft Maze Solver CSS3. Однако, этот веб-браузер вырвал победу у конкурентов в CSS Stress Testing & Performance Profiling на всех сайтах. Opera, которая всегда набирала много баллов в Maze Solver, показала худшее время в тесте CSS2. Только Safari показывает превосходную скорость в обоих тестах.
Тест и сравнение веб-браузеров | Производительность HTML5
Комбинированные показатели
Комбинированные показатели HTML5 рассчитываются из средних показателей кадров в секунду в GUIMark 2 HTML5, Asteroids HTML5 Canvas 2D и JavaScript, HTML5 Canvas Performance Test.
Internet Explorer 9 вырывается вперёд с средним результатом 137 кадров в секунду благодаря дополнительному тесту canvas. Firefox выходит на вторую позицию, за ним Chrome. Safari на четвёртом месте и Opera завершает список с показателем 51 FPS.
Подробности
В диаграммах, размещённых ниже, содержатся результаты отдельных тестов HTML5.
GUIMark 2 HTML5
Asteroids HTML5 Canvas 2D & JavaScript
HTML5 Canvas Performance Test
Судя по тестам, IE9 очень силён в HTML5 canvas, а самой слабой оказалась Opera 12 во всех тестах HTML5.
Тест и сравнение веб-браузеров | Аппаратное ускорение
Facebook JSGameBench v0.4.1
Этот бенчмарк HTML5 от Facebook также охватывает WebGL.
Firefox 13 лидирует по общему аппаратному ускорению набрав более 5000 баллов. Google Chrome 20 – 3750 баллов. IE9 занимает третью позицию. Opera 12 зарабатывает только 400 баллов, что обеспечивает этому веб-браузеру четвёртое место, и с не большим отрывом на последнем месте идёт Safari 5.1.7.
Аппаратное ускорение HTML5
Мы убрали тест Mozilla Hardware Acceleration Stress Test из набора, поскольку все веб-браузеры достигали максимального значения в 60 FPS. Вместо него мы используем WebVizBench, который генерирует четырёхзначный балл как Psychedelic Browsing.
Комбинированные показатели
Комбинированные показатели аппаратного ускорения HTML5 рассчитываются из средних показателей WebVizBench и Psychedelic Browsing.
IE9 незначительно обходит Firefox 13 в тесте аппаратного ускорения HTML5, 7188 баллов против 6978. Chrome 20 занимает третью позицию. Opera 12 и Safari 5.1.7 финишируют на четвёртом и пятом местах соответственно, причём с заметным отставанием.
Подробности
В диаграммах, размещённых ниже, содержатся результаты Psychedelic Browsing и WebVizBench.
Microsoft Psychedelic Browsing
WebVizBench
Internet Explorer вырывается вперёд за счёт высоких показателей в Psychedelic Browsing и WebVizBench. В тесте Psychedelic Browsing веб-браузер Chrome показывает неплохой результат и лучший в WebVizBench.
WebGL
Как и прежде родную поддержку WebGL в Windows 7 имеют только веб-браузеры Chrome и Firefox.
Комбинированные показатели
Комбинированные показатели WebGL рассчитываются из средних показателей Mozilla WebGL FishIE Tank и WebGL Solar System от Chrome Experiments.
Firefox 13 лидирует со средней частотой 48 кадров в секунду, за ним следует Chrome 20, его показатель 37 FPS.
Подробности
В диаграммах ниже содержатся результаты отдельных тестов WebGL FishIE Tank и WebGL Solar System.
Mozilla WebGL FishIE Tank
WebGL Solar System
Оба веб-браузера неплохо справляются с тестом Mozilla WebGL, переделанным из бенчмарка Microsoft FishIE Tank, однако в WebGL Solar System, Chrome не набрал даже 15 FPS.
Тест и сравнение веб-браузеров | Производительность Flash, Java, Silverlight
Комбинированные показатели
Комбинированные показатели Flash, Java и Silverlight рассчитываются из средних показателей пяти тестов RIABench для каждого плагина: Primetest, Prime Factorization, MD5 Hashing, Random Key Generator и Run-length Encoding. Все пять тестов RIABench измеряются в миллисекундах.
Flash
Safari ведёт с средним результатом 185 мс, в то время как IE9, Firefox 13 и Opera 12 находятся практически на одном уровне, и их можно отнести на второе место. Chrome снова приходит последним в тесте Flash.
Java
Opera обходит Firefox в тесте Java с результатом 253 миллисекунд, отправляя веб-браузер от Mozilla на второе место. Chrome и IE9 разделяют третье место с показателем 262 мс. Safari выпадает из группы, справившись с нагрузкой почти на 100 мс дольше остальных, естественно, он занимает последнюю позицию.
Silverlight
Opera снова вырывает победу, но уже из рук IE9. Chrome и Firefox на третьем месте с одинаковыми результатами, Safari снова последний, однако с меньшим разрывом, чем в тесте Java. Результаты в Silverlight получились размытыми, поскольку все браузеры здесь работают почти одинаково.
Подробности
В диаграммах, размещённых ниже содержатся подробности тестов Flash, Java и Silverlight.
RIABench Flash
RIABench Java
RIABench Silverlight
Результаты в тестах Flash очень близки между веб-браузерами, однако встроенный Flash-проигрыватель Chrome, в целом, отстаёт, а Safari выходи вперёд в тесте Run-length Encoding. За исключением плохих показателей Safari в тесте Run-length Encoding, результаты в бенчмарке Java практически одинаковы между браузерами. В целом в Silverlight картина повторяется.
Тест и сравнение веб-браузеров | Эффективность работы с памятью
Комбинированные показатели
За последние несколько лет многие просили нас уделять меньше внимания или вовсе убрать тесты использования памяти в гран-при веб-браузеров, ведь её, в конце концов, достаточно. Хотя мы не можем спорить с этим утверждением, но факт остаётся фактом, одни браузеры используют гораздо больше памяти, чем другие при одинаковой рабочей нагрузке. Но на нашей современной тестовой системе мы не можем видеть, как интернет-браузеры масштабируют использование памяти в соответствии с доступными аппаратными средствами. В прошлый раз мы использовали ОС Windows XP. Этот сценарий показал, что “прожорливые” на оперативную память браузеры в Windows 7 заметно снижали количество используемой памяти на старом аппаратном обеспечении, но контент отображался тот же. Таким образом, использование памяти связано с доступными системными ресурсами.
Поэтому, использование памяти больше не учитывается в общем результате. Тем не менее, тест с 40 вкладками всё ещё необходим для того, чтобы получить результаты управления памятью и надёжности загрузки страницы, а также для общего понимания отзывчивости веб-браузера под нагрузкой. Общая эффективность памяти теперь измеряется разницей между использованием памяти с одной открытой вкладкой и общим управлением памятью при закрытии 39 вкладок. Веб-браузер с меньшим количество баллов способен вернуть большую часть физической памяти обратно в операционную систему не закрывая само приложение, а просто понижая нагрузку (закрывая вкладки).
Chrome 20 от Google заметно лидирует по эффективности использования памяти, после закрытия 39 вкладок он занимает 94 Мбайта. IE9 тоже не подвёл и оказался на втором месте с результатом 117 Мбайт. Firefox 13 финиширует третьим с небольшим отрывом, занимая заметно меньше памяти, чем его предыдущие версии. Safari по-прежнему удерживает до 331 Мбайт и занимает четвёртую позицию, а браузер Opera 12 на последнем месте.
Подробности
В диаграммах, размещённых ниже, содержатся отдельные показатели использования памяти при одной и сорока открытых вкладках, наряду с показателями управления памятью сразу после закрытия 39 вкладок и спустя еще две минуты.
использование памяти
управление памятью
Тест и сравнение веб-браузеров | Надёжность, отзывчивость и безопасность
Надёжность
Тест надёжности проводится после загрузки 40 вкладок. Мы открывает их одновременно и записываем, сколько страниц требуют перезагрузки из-за неправильных форматов или пропавших элементов. Лучший возможный результат – 0, худший – 40.
И снова Opera одерживает победу. Нам потребовалось перезагрузить только одну страницу. На втором месте веб-браузер Safari с пятью сбоями, за ним следует IE9 с шестью и Firefox с семью некорректно загруженными страницами. Chrome финиширует последним с девятью перезагруженными страницами.
Отзывчивость
В прошлой части гран-при веб-браузеров на нашей старенькой системе было очень легко сравнивать отзывчивость. Хотя ни один браузер не затормозил нашу современную платформу, IE9 постоянно давал сбои и самостоятельно перезагружался. И поскольку нам пришлось ждать, пока сорок вкладок закончат загрузку перед тем, как проверять сбои в тесте надёжности, мы заметили, что Opera оказалась в этом деле шустрее всех. Firefox тоже справился довольно быстро.
Мы с уверенностью можем назвать Opera 12 победителем по отзывчивости. Firefox тоже показал себя неплохо, а Chrome и Safari находятся где-то по середине. IE9 самый слабый в этой дисциплине.
Безопасность
BrowserScope Security – это первый официальный тест безопасности, с которым мы еще не работали. Он состоит из 17 подтестов с вердиктом прошел/не прошел, и соответствующей максимальной оценкой в 17 баллов.
Chrome 20 оказывается на первом месте с 16-ю баллами. За ним следует Apple Safari. Microsoft Internet Explorer 9 проходит 13 подтестов и занимает третье место, обогнав давнего соперника Mozilla Firefox. Opera 12 оказывается в самом низу, успешно завершив лишь десять из семнадцати тестов.
Тест и сравнение веб-браузеров | Совместимость со стандартами
Комбинированные показатели
Поскольку у тестов совместимости со стандартами всегда есть максимальное и минимальное значение, мы можем разделить результат на максимальное количество балов, умножить на 100 и получить показатель в процентах. Благодаря этому, нам проще вывести среднее значение каждого теста совместимости, чтобы получить комбинированную оценку.
Chrome выигрывает благодаря 94%-ой совместимости. Firefox на втором месте, преследуемый веб-браузером Opera (их результаты близки). Далее совместимость со стандартами резко падает, IE9 и Safari занимают четвёртое и пятое место соответственно.
Подробности
В диаграммах, размещённых ниже, содержатся отдельные результаты трёх тестов совместимости со стандартами: Ecmascript test262, HTML5Test.com и Peacekeeper v2.0 HTML5 Capabilities.
Ecmascript test262
HTML5Test.com
Peacekeeper HTML5 Capabilities
Хотя определяющими здесь являются показатели HTML5, IE9 и Safari остаются позади и в тесте JavaScript.
Тест и сравнение веб-браузеров | Анализ тестов
Финиш
Для каждой категории тестирования есть четыре колонки: победитель, сильный, средний и слабый. Понятно, что “победитель” – это веб-браузер, который набрал большее количество баллов в данной категории. Колонка “сильный” для браузеров, которые обладают превосходной производительностью, но не заняли первое место в тесте. В колонке “средний” появляются браузеры, которые хорошо работают на уровне большинства конкурентов. И параметр “слабый” присваивается интернет-браузерам с плохими показателями, результаты которых значительно ниже, чем у конкурентов.
Степень важности
Чтобы показать, как каждая тестовая категория влияет на впечатления конечного пользователя от браузера, необходимо распределить эти категории по степени важности.
Первостепенные | CSS, DOM, JavaScript, надёжность, совместимость со стандартами |
Важные | Flash, HTML5, эффективность памяти, скорость загрузки страницы, отзывчивость, безопасность, скорость загрузки браузера |
Несущественные | Java, Silverlight |
Не важные | аппаратное ускорение HTML5, WebGL |
На уровне “первостепенные” находятся те категории тестов, которые отражают функционал веб-браузеров, необходимый для отображения большинства страниц в интернете. Под уровнем “важные” подразумеваются категории, в которых необходимость при интернет-сёрфинге ниже, но всё равно заметно влияют на впечатление от браузера. На уровне “несущественные” содержатся популярные плагины Java и Silverlight. Хотя плагины этого типа не так распространены, как Flash, некоторые приложения, как например приложения intranet и Netflix просто не будут без них работать. И наконец, уровень “не важные” включает новые технологии наподобие аппаратного ускорения HTML5 и WebGL, которые ещё пока не существуют за пределами демо/тестовых сайтов.
Баллы
Теперь, когда уровни распределены, мы можем применить балльную систему для каждого уровня.
Победитель | Сильный | Средний | Слабый | |
Первостепенный | 2.5 | 2 | 1.5 | -2 |
Важный | 2 | 1.5 | 1 | -1.5 |
Несущественный | 1.5 | 1 | 0.5 | -1 |
Не важный | 1 | 0.5 | 0 | -0.5 |
Как видите, мы решили ввести отрицательную оценку для колонки “слабый”, а баллы для колонки “средний” начинаются с нуля на уровне “неважные”. На всех уровнях самый высокий балл получают веб-браузеры в колонке “победитель”.
Сводная таблица
Победитель | Сильный | Средний | Слабый | |
Первостепенный | ||||
CSS | Safari | Chrome | Internet Explorer, Opera | Firefox |
DOM | Safari | Chrome, Internet Explorer | Firefox, Opera | |
JavaScript | Chrome | Firefox | Opera | Internet Explorer, Safari |
Надёжность | Opera | Firefox, Internet Explorer, Safari | Chrome | |
Совместимость со стандартами | Chrome | Firefox, Opera | Internet Explorer, Safari | |
Важный | ||||
Flash | Safari | Firefox, Internet Explorer, Opera | Chrome | |
HTML5 | Internet Explorer | Firefox, Chrome | Opera, Safari | |
Эффективность памяти | Chrome | Internet Explorer, Firefox | Opera, Safari | |
Скорость загрузки страницы | Internet Explorer | Chrome, Firefox, Safari | Opera | |
Отзывчивость | Opera | Firefox | Chrome, Safari | Internet Explorer |
Безопасность | Chrome | Firefox, Internet Explorer, Safari | Opera | |
Скорость загрузки браузера | Opera | Chrome, Firefox | Internet Explorer | Safari |
Несущественный | ||||
Java | Opera | Chrome, Firefox, Internet Explorer | Safari | |
Silverlight | Opera | Chrome, Firefox, Internet Explorer, Safari | ||
Не важный | ||||
Аппаратное ускорение HTML5 | Internet Explorer | Firefox | Chrome | Opera, Safari |
WebGL | Firefox | Chrome | Internet Explorer, Opera, Safari |
И победителем становится…
Тест и сравнение веб-браузеров | Награждаем победителя
Наша новая система подсчёта баллов позволяет нам выделить победителя и выявить различия в производительности веб-браузеров.
Место | Браузер | Балы |
Первое | Chrome | 19 |
Второе | Firefox | 18,5 |
Третье | Opera | 15,5 |
Четвертое | Internet Explorer | 11 |
Пятое | Safari | 6 |
Впервые за всё время между победившим браузером Chrome и Firefox лишь минимальный разрыв. Появление аппаратного ускорения HTML5 в версии 18 и высокие показатели в тестах обеспечили Google Chrome 20 статус чемпиона в гран-при веб-браузеров для Windows 7, в результате Chrome снова становиться самым победоносным браузером для этой операционной системы. Поздравляем, Google!