РЕКЛАМА
ИНФОРМАЦИЯ
ПОЛЕЗНЫЕ ССЫЛКИ
Samsung Galaxy Nexus: обзор и тест i9250

MegaFon Mint SP-A20i: обзор и тест смартфона на Intel Atom с Android 4.0

Обзор Apple iPhone 5: тесты процессора, графики, батареи, Wi-Fi и дисплея

Nokia Lumia 920: обзор и тест

Sharp Aquos Phone SH930W: обзор и тест смартфона с экраном Full HD

Nokia Lumia 820: обзор и тест

Обзор и тест смартфона Highscreen Blast

Highscreen Explosion: недорогой, но очень мощный Android-смартфон

Лучший смартфон: текущий анализ рынка

Обзор смартфона Prestigio MultiPhone PAP5430: младший брат Мегафон Mint

Обзор OPPO Find 5 x909: флагманский китайский смартфон

iPhone 5c: иллюзия новизны

Обзор смартфона iconBIT Mercury Q7 NT-3602M

iconBIT Callisto 100: Android на ремешке

Обзор Google Nexus 5: быстрый и недорогой смартфон с LTE для всех

Обзор смартфона iconBIT Mercury LX NT-3514M

Обзор Nokia Lumia Icon и Lumia 930: Windows Phone премиум-класса

Обзор смартфона Highscreen Omega Prime Mini

Обзор смартфона Highscreen Thor

Apple совершенствует и обновляет аппаратную начинку iPhone

Первые тесты iPhone 6: малый прирост производительности GPU

Как мы тестируем смартфоны и планшеты. Часть 2

Как мы тестируем смартфоны и планшеты. Часть 1

Rambler's Top100 Рейтинг@Mail.ru

СМАРТФОНЫ

Как мы тестируем смартфоны и планшеты. Часть 1
Краткое содержание статьи: В этой статье мы опишем процедуры тестирования, которым следуем для получения точных данных, и детально расскажем обо всех тестах, применяемых нами в обзорах смартфонов и планшетов.

Как мы тестируем смартфоны и планшеты. Часть 1


Редакция THG,  15 сентября 2015
Назад
Вы читаете страницу 1 из 4
1 2 3 4
Далее


Как мы тестируем смартфоны и планшеты | Введение

Достижения в сферах передачи информации, сетевых и беспроводных технологиях сделали наше общество более мобильным. Наши компьютеры, от которых мы стали так зависимы, постоянно находятся с нами, независимо от того переходим мы из комнаты в комнату, прогуливаемся до ближайшего кафе или осуществляем перелет на другой конец земного шара. Ноутбуки по-прежнему считаются самыми удобным мобильными средствами для работы в пути, однако они слишком большие и громоздкие, чтобы использовать их лежа в постели, и, конечно же, их нельзя положить в карман и постоянно носить с собой. Поэтому смартфоны забирают все больше пользовательского времени у традиционных ПК и ноутбуков, поскольку мы все чаще используем их для просмотра веб-страниц, чтения книг, просмотра разнообразных телешоу и фильмов, игр, общения, навигации и даже для работы. Аппаратное и программное обеспечение постоянно развивается, и находятся все новые способы применения этим примечательным устройствам.

Учитывая, что эти устройства всюду находятся с нами, они даже "персональнее", чем персональные компьютеры. Поэтому неудивительно, что мобильные устройства так разительно отличаются по размеру, дизайну, производительности и цене. Учитывая огромное разнообразие и связанные с ним уловки маркетологов, иногда может быть очень трудно выбрать продукт, подходящий именно вам.

И энтузиастам или покупателям, которые не хотят потратить свои деньги зря, пригодится знание того, насколько эффективно и удобно устройство в работе и повседневном использовании. Именно поэтому в наши обзоры обязательно входит углубленный анализ производительности.

Это не просто

Однако тестирование мобильных устройств связано со множеством трудностей. Во-первых, они содержат много аппаратных компонентов: от внутренних, включая SoC, память и хранилище, до внешних – дисплей, камеры и динамики. Все они оказывают свое влияние на впечатление от использования. Не менее значимую роль играет программное обеспечение, а также оптимизация всех этих элементов вместе взятых, которая влияет на время работы от батареи.

Но главной проблемой при тестировании готовой работающей системы является сбор данных в неконтролируемой среде. Мобильные устройства по своей природе являются подключенными устройствами, постоянно отправляющими и получающими данные из "облака". Запущенные фоновые приложения периодически пробуждаются для сбора данных, отправки уведомлений и других операций. Антивирусы и защита, установленные поставщиком или производителем, могут выполнять плановую проверку. Операционная система тоже постоянно занята. Вся эта активность приводит к высокой степени энтропии в системе.

Как мы тестируем смартфоны и планшеты | Методика тестирования

Сбор точных, повторяемых и справедливых результатов в такой непостоянной среде требует строгой методики тестирования. Мы использовали наши знания и опыт для разработки процедуры, которая сводит к минимуму число фоновых задач и стремится создать равные условия для всех устройств, хотя при этом остаются некоторые переменные, которые мы не можем контролировать.

Но прежде чем озвучить детали, мы должны ответить на важный вопрос: где мы берем образцы для обзоров? Иногда мы сами приобретаем продукты, но в большинство случаев мы тестируем розничные версии, предоставляемые производителями и поставщиками.

Хотя Tom’s Hardware является международной сетью изданий (есть разные сайты для разных регионов), головной сайт базируется в США. Поэтому тестируемые модели в основном предназначены для продаж на североамериканском рынке. Однако возрастающее значение других рынков приводит к тому, что многие производители, в первую очередь, выпускают продукты для других регионов. Из-за нездорового стремления СМИ сделать публикацию первыми, многие сайты, посвященные новостям мира технологий, рассматривают модели для международного рынка или даже предпроизводственные образцы, которые управляются другим ПО и часто обладают отличающимися характеристиками производительности. Многие СМИ не всегда упоминают об этом. Однако мы считаем, что такая практика может ввести в заблуждение наших читателей. Если мы тестируем модели, предназначенные для продажи в других регионах, или предпроизводственные образцы, мы всегда делаем акцент на этом в статье.

Конфигурация

Что происходит после получения образца для тестов? Сначала мы устанавливаем операционную систему и обновления программного обеспечения. Затем мы делаем сброс до заводских настроек, чтобы начать с чистой системы. Заключительным шагом в подготовке устройства для тестирования являются изменение настроек. Мы не будем публиковать наш полный список параметров конфигурации (он затрагивает почти все пункты), которые должны свести к минимуму фоновые задачи и обеспечить максимально справедливое сравнение, а просто укажем самые важные настройки в таблице ниже.

Настройка Состояние Примечания
Беспроводная передача данных
Режим "в самолете" вкл. Это неконтролируемая переменная, потому что сила сигнала (и энергопотребление) зависит от местоположения, оператора сотовой связи, времени дня и т.п. Сотовая связь отключена для более справедливых условий сравнения.
Wi-Fi вкл.
Bluetooth выкл.
NFC вкл.
Службы определения местоположения выкл. Снижает фоновую активность
Сбор данных выкл. Опции, улучшающие удобство использования и оправляющие диагностические данные, статистику на сервера Google, OEM или сотовых операторов отключены с целью снижения фоновой активности.
Дисплей
Автоматическая или адаптивная регулировка яркости выкл.
Яркость дисплея Экран калибруется до уровня 200 нит с целью обеспечивая максимально близких условий сравнения устройств.
Специальные настройки дисплея выкл.
Режим экрана Выставлен на базовый, штатный, стандартный, sRGB или в режим по умолчанию. При тестировании дисплея, каждый режим проверяется отдельно.
Обои По умолчанию
Батарея
Режимы экономии батареи выкл. В устройства реализованы разнообразные техники. Их отключение показывает время работы батареи без ущерба производительности.
Автоматическое включение никогда
Учетные записи пользователя
Google, iCloud, Facebook, Twitter, и т.д. неактивно Все учетные записи облачных сервисов (или любые другие аккаунты с фоновым доступном в интернет) удаляются после первоначальной настройки. Это снижается фоновую активность, которая влияет на измерения. Исключение составляет аккаунт Microsoft для Windows Phone, который нельзя удалить.
Автосинхронизация данных выкл.

Чтобы обеспечить адекватные условия тестирования и получить сопоставимые результаты, мы стремимся сделать настройки тестируемых устройств как можно более близкими. Но из-за различий в операционных системах и функциях, всегда будут присутствовать небольшие отличия. В таких случаях мы оставляем настройки в значениях по умолчанию.

Кроме того устройства могут содержать предварительно установленное ПО от производителя или оператора сотовой связи, которое влияет на результаты. Если такие программы есть, мы их не удаляем и не отключаем, поскольку это, как правило, невозможно, и обычный пользователь, скорее всего, оставит все как есть. Чтобы избежать таких проблем мы стараемся получить либо разблокированное устройство, либо версию с наименьшим количеством лишнего ПО.

Процедура тестирования

Сама процедура тестирования также важна для сбора данных, как и конфигурация устройства. Поскольку уровень заряда батареи и температура влияют на производительность устройства, тесты выполняются в контролируемой среде, учитывающей эти факторы. Ниже приведены основные моменты для нашей процедуры тестирования:

  • В помещении поддерживается температура на уровне 21 °C - 26,5 °C. Устройство во время тестирования не подвергается активному охлаждению. И хотя этот шаг мог бы понизить вероятность сброса тактовой частоты из-за перегрева и положительно сказался на результатах, такие условия не является реалистичными. Ведь никто не носит в кармане мешочки со льдом, вентиляторы или термоэлектрические кулеры для охлаждения мобильника.
  • Во время тестирования смартфоны лежат на деревянном столе (экраном вверх), а тесты выполняются в портретном режиме экрана, если приложение не запускает альбомный режим принудительно. Планшеты подпираются подставкой в альбомном режиме, так чтобы вся задняя сторона не соприкасалась с поверхностями и была доступна для подхода воздуха. Такие условия являются более адекватными.
  • Перед началом тестирования мы оставляем устройство на определенный период времени после включения, чтобы оно выполнило синхронизацию с сетью и фоновые задачи.
  • Пока выполняется тест, мы не касаемся и не перемещаем устройства.
  • Между тестами мы даем устройству остыть, чтобы нагрев не влиял на последующие испытания.
  • Все тесты выполняются в режиме работы от батареи. Мы не допускаем падения заряда аккумулятора ниже определенного значения при выполнении любых тестов производительности, кроме испытания самой батареи.

Тесты выполняются как минимум по два раза, а результаты усредняются. Минимальные и максимальные показатели каждого тестового прогона не должны отличаться от вычисленного среднего значения более чем на 5%. Если порог колебаний превышен, результаты прогона удаляются, и он выполняется снова. Это гарантирует, что внезапные отклонения, вызванные случайными фоновыми задачами, космическим излучением, квантовыми эффектами, помехами технологически более продвинутых приборов инопланетян, искажениями в пространственно-временном континууме или другими необъяснимыми явлениями не искажают окончательные результаты.

Наша процедура тестирования также включает ряд методов для обнаружения жульничества с бенчмарками.

Как мы тестируем смартфоны и планшеты | Тестовый пакет

Комбинация синтетических и реальных тестов должна обеспечить всесторонний анализ производительности устройства. Синтетические тесты, как правило, состоят из нескольких небольших специализированных блоков кода для выполнения таких операций, как криптография, сжатие файлов, матричные операции и альфа-смешивание. Они хорошо подходят для тестирования отдельных компонентов архитектуры, в том числе целочисленных вычислений и вычислений с плавающей запятой, специализированных инструкций, пиксельных шейдеров и растеризации. С помощью этой информации мы можем сравнить отдельные аппаратные компоненты, например, SoC (CPU А быстрее CPU B) или NAND-память. Но из-за своей узкой направленности эти результаты трудно связать с работой устройства в реальной жизни. На их основании можно лишь заявлять, что одно устройство в некоторых тестах быстрее другого благодаря более быстрому процессору. Кроме того, синтетические тесты, как правило, разрабатываются так, чтобы довести тестируемое устройство до его пределов. Это полезно для определения максимальной производительности и выявления слабых мест в конструкции, но не отражает поведение устройств в реальных задачах.

По этой причине мы также стараемся включить бенчмарки, которые задействуют повседневные задачи, например, просмотр веб-страниц, работа с текстом, редактирование фотографий или видео. Хотя эти тесты хорошо отражают реальный пользовательский опыт, их гораздо труднее разрабатывать, поэтому для мобильных платформ доступно не так много вариантов.

Чтобы по-настоящему узнать уровень производительности устройства его необходимо протестировать на уровне компонентов и на уровне системы, узнать его максимальную производительность и производительность в реальных сценариях, а также выявить недостатки (тепловой троттлинг) и отклонения (неподдерживаемые функции). Ни один тест не может сделать такое в одиночку. Нет даже тестов, которые могли бы адекватно оценить хотя бы несколько этих критериев (создать хороший бенчмарк крайне сложно и всегда есть компромиссы). Именно поэтому мы запускаем целый набор тестов, многие из которых имеют схожие функции.

Естественно тесты подбираются не случайным образом. Наши тесты не только отвечают описанным выше требованиям, но и созданы опытными разработчиками, которые готовы открыто обсуждать работу бенчмарка. Мы тесно сотрудничаем с большинством из этих разработчиков и можем не только получить детальную информацию об особенностях работы бенчмарка, но и указать на элементы, которые можно улучшить. В таблице ниже перечислены тесты, используемые в обзорах мобильных устройств.

Google Android

Бенчмарк Версия Разработчик
AndEBench Pro 2015 2.1.2472 EEMBC
Basemark OS II Full 2.0 Basemark Ltd
Geekbench 3 3.3.1 Primate Labs
MobileXPRT 2013 1.0.92.1 Principled Technologies
PCMark 1.1 Futuremark
TabletMark 2014 3.0.0.63 BAPCo
Browsermark 2.1 Basemark Ltd
JSBench 2013.1 Purdue University
Google Octane 2.0 Google
Peacekeeper - Futuremark
3DMark: Ice Storm Unlimited 1.2 Futuremark
Basemark X 1.1 Basemark Ltd
GFXBench 3 Corporate 3.0.28 Kishonti
GFXBench 3.1 Corporate 3.1.0 Kishonti
Basemark ES 3.1 1.0.2 Basemark Ltd
Basemark OS II Full 2.0 Basemark Ltd
GFXBench 3 Corporate 3.0.28 Kishonti
PCMark 1.1 Futuremark
TabletMark 2014 3.0.0.63 BAPCo

Apple iOS

Бенчмарк Версия Разработчик
Basemark OS II Full 2.0 Basemark Ltd
Geekbench 3 3.3.4 Primate Labs
TabletMark 2014 3.0.0.63 BAPCo
Browsermark 2.1 Basemark Ltd
JSBench 2013.1 Purdue University
Google Octane 2.0 Google
Peacekeeper - Futuremark
3DMark: Ice Storm Unlimited 1.2 Futuremark
Basemark X 1.1 Basemark Ltd
GFXBench 3 Corporate 3.0.32 Kishonti
GFXBench 3.1 Corporate 3.1.0 Kishonti
Basemark ES 3.1 1.0.2 Basemark Ltd
Basemark OS II Full 2.0 Basemark Ltd
GFXBench 3 Corporate 3.0.32 Kishonti
TabletMark 2014 3.0.0.63 BAPCo

Microsoft Windows Phone

Бенчмарк Версия Разработчик
Basemark OS II Full 2.0 Basemark Ltd
Browsermark 2.1 Basemark Ltd
JSBench 2013.1 Purdue University
Google Octane 2.0 Google
Peacekeeper - Futuremark
Basemark X 1.1 Basemark Ltd
GFXBench 3 DirectX 3.0.4 Kishonti
Basemark OS II Full 2.0 Basemark Ltd
GFXBench 3 DirectX 3.0.4 Kishonti
Назад
Вы читаете страницу 1 из 4
1 2 3 4
Далее


СОДЕРЖАНИЕ

Как мы тестируем смартфоны и планшеты. Отзывы в Клубе экспертов THG [ 1 отзывов] Как мы тестируем смартфоны и планшеты. Отзывы в Клубе экспертов THG [ 1 отзывов]


Свежие статьи
RSS
Обзор и тестирование материнской платы ASRock Fatal1ty E3V5 Performance Gaming/OC Intel C232 Обзор и тестирование графического ускорителя Nvidia GeForce GTX 1080 Ti 11 Гбайт Обзор и тестирование смартфона Sony Xperia X Compact Обзор и тестирование блока питания Thermaltake Toughpower Grand RGB 750 Вт Ryzen против Core i7 в 11 популярных играх
Gigabyte Aorus Z270X-Gaming 9 Обзор и тестирование графического ускорителя Nvidia GeForce GTX 1080 Ti 11 Гбайт Обзор смартфона Sony Xperia X Compact Обзор и тестирование блока питания Thermaltake Toughpower Grand RGB 750 Вт Ryzen против Core i7 в 11 популярных играх

Копирование и распространение информации, упомянутой на страницах THG.ru возможно только при наличии у вас письменного разрешения руководства издания. По вопросам использования наших статей обращайтесь по электронной почте.

THG.ru ("Русский Tom's Hardware Guide") входит в международную сеть изданий Best of Media
РЕКЛАМА
РЕКОМЕНДУЕМ ПРОЧЕСТЬ!

История мейнфреймов: от Harvard Mark I до System z10 EC
Верите вы или нет, но были времена, когда компьютеры занимали целые комнаты. Сегодня вы работаете за небольшим персональным компьютером, но когда-то о таком можно было только мечтать. Предлагаем окунуться в историю и познакомиться с самыми знаковыми мейнфреймами за последние десятилетия.

Пятнадцать процессоров Intel x86, вошедших в историю
Компания Intel выпустила за годы существования немало процессоров x86, начиная с эпохи расцвета ПК, но не все из них оставили незабываемый след в истории. В нашей первой статье цикла мы рассмотрим пятнадцать наиболее любопытных и памятных процессоров Intel, от 8086 до Core 2 Duo.

ОБРАТНАЯ СВЯЗЬ
Дизайн!
У вас есть что сказать по поводу нашего дизайна? Советы или рекомендации? Направляйте критику и комментарии по электронной почте.
ССЫЛКИ
Реклама от YouDo
Объявление: курьерская доставка срочная: выбирай YouDo!
Курьер на час: курьерские службы раменское, недорого.