РЕКЛАМА
ИНФОРМАЦИЯ
ДРУЗЬЯ THG

Exler : авторский проект
iXBT.com : коллеги
BenchmarkHQ
G-Class.ru : Гелики
Avto.ru : автомобили
КомпьютерПресс
Radeon.ru : поддержка
PCNews : новости IT
NV World : Мир nVidia
iPhoneRoot : новости
Kraftway : серверы
SLY : компьютеры

ПОЛЕЗНЫЕ ССЫЛКИ
Samsung Galaxy Nexus: обзор и тест i9250

MegaFon Mint SP-A20i: обзор и тест смартфона на Intel Atom с Android 4.0

Обзор Apple iPhone 5: тесты процессора, графики, батареи, Wi-Fi и дисплея

Nokia Lumia 920: обзор и тест

Sharp Aquos Phone SH930W: обзор и тест смартфона с экраном Full HD

Nokia Lumia 820: обзор и тест

Обзор и тест смартфона Highscreen Blast

Highscreen Explosion: недорогой, но очень мощный Android-смартфон

Лучший смартфон: текущий анализ рынка

Обзор смартфона Prestigio MultiPhone PAP5430: младший брат Мегафон Mint

Обзор OPPO Find 5 x909: флагманский китайский смартфон

iPhone 5c: иллюзия новизны

Обзор смартфона iconBIT Mercury Q7 NT-3602M

iconBIT Callisto 100: Android на ремешке

Обзор Google Nexus 5: быстрый и недорогой смартфон с LTE для всех

Обзор смартфона iconBIT Mercury LX NT-3514M

Обзор Nokia Lumia Icon и Lumia 930: Windows Phone премиум-класса

Обзор смартфона Highscreen Omega Prime Mini

Обзор смартфона Highscreen Thor

Apple совершенствует и обновляет аппаратную начинку iPhone

Первые тесты iPhone 6: малый прирост производительности GPU

Как мы тестируем смартфоны и планшеты. Часть 1

Как мы тестируем смартфоны и планшеты. Часть 1

Rambler's Top100 Рейтинг@Mail.ru

СМАРТФОНЫ

Как мы тестируем смартфоны и планшеты. Часть 2
Краткое содержание статьи: Во второй части: детальное описание тестов CPU и системы, браузерные тесты, тесты GPU и игр, тесты времени работы и изучение температурного троттлинга.

Как мы тестируем смартфоны и планшеты. Часть 2


Редакция THG,  16 сентября 2015
Страница: Назад  1 2 3 Далее


Как мы тестируем смартфоны и планшеты | Производительность CPU и системы

Первая часть статьи: общая методика и приготовления, тесты экрана, камер и звука.

Ощущения от использования продукта во многом зависят от уровня его производительности. Какова отзывчивость пользовательского интерфейса? Как быстро прокручиваются веб-страницы? Как быстро открываются приложения? Как быстро находятся письма в электронном почтовом ящике? На все это влияет производительность процессора в одно- и многопоточных режимах, скорость оперативной памяти и хранилища, а также скорость рендеринга GPU. Немаловажную роль играет программное обеспечение. Технология динамического регулирования напряжения и тактовой частоты (DVFS) включает специализированные драйверы для SoC. Производитель регулирует частоты так, чтобы найти баланс между производительностью и энергопотреблением.

Используя комбинацию синтетических и реальных тестов и собирая данные с помощью утилиты для мониторинга параметров системы, мы оцениваем производительность устройства на аппаратном и системном уровне, соотнося полученные значения с пользовательским опытом.

Basemark OS II

Basemark ОС II от Basemark Ltd. – это один из немногих бенчмарков для сравнения производительности устройств на разных платформах. Он работает с Android, iOS и Windows Phone. Тесты написаны на языке C++ и совместимы с каждой платформой. Бенчмарк охватывает четыре основных направления: System, Memory, Graphics и Web.

Как мы тестируем смартфоны и планшеты

Тест System оценивает скорость процессора и памяти. Он состоит из нескольких подтестов и включает в себя вычисления с плавающей запятой и целочисленные операции в одно- и многопоточном режимах. Подтест Math выполняет сжатие данных без потерь (для тестирования целочисленных операций) и эмулирует физические взаимодействия, используя восемь независимых потоков (давая небольшое преимущество многоядерным процессорам). Подтест XML Parsing анализирует три различных файла XML (один файл для каждого потока) в дереве DOM (Document Object Model). Это очень распространенная операция для современных веб-сайтов. Скорость однопоточной работы процессора оценивается с помощью фильтра размытия по Гауссу, наложенное на 32-битное изображение с разрешением 2048x2048 пикселей (16 Мбайт). Также есть многоядерная версия теста с 64 потоками.

Тест Memory изначально был разработан для измерения скорости передачи данных встроенных NAND-накопителей. Он имитировал чтение и запись файлов фиксированного размера, файлов размером от 65 Кбайт до 16 Мбайт и файлов в сценарии фрагментированной памяти. Однако на устройствах с большим объемом ОЗУ (от 1 Гбайт для Android) операционная система использует часть оперативной памяти для буферизации операций чтения/записи с целью повышения производительности. Поскольку в тесте Memory используются файлы малого размера (важное требование для бенчмарка, работающего с устройствами начального уровня), они полностью умещаются в буфере памяти, в итоге этот тест стал использоваться для проверки работы ОЗУ вместо интегрированных накопителей.

Тест Graphics использует собственный движок, поддерживающий OpenGL ES 2.0 на Android и iOS, а также DirectX11 9_3 для Windows Phone. Он смешивает двухмерные (имитирующие элементы интерфейса) и трехмерные объекты с попиксельным освещением, картами рельефа, наложением карт среды, многоуровневым преломлением и прозрачностью. Также сцена включает рендеринг 100 частиц с помощью одного вызова отрисовки (draw call) для тестирования вершинных операций на GPU. В целях получения данных для сравнения осуществляется рендеринг 500 кадров в закадровом режиме с разрешением 1920x1080.

Наконец тест Web нагружает процессор, выполняя 3D-преобразования и изменение размера объекта с помощью CSS, а также включает тест физики частиц HTML5 Canvas.

Как мы тестируем смартфоны и планшеты

Basemark OS II v.2.0, баллы (больше – лучше)

Результаты Basemark ОС II представлены в составной диаграмме. Результаты отдельных испытаний показаны белым шрифтом. Общий балл, который является средним геометрическим значением отдельных тестов, показан черным цветом слева.

AndEBench Pro 2015

AndEBench – это бенчмарк для платформ на базе Android, разработанный организацией Embedded Microprocessor Benchmark Consortium (EEMBC). Он определяет скорость работы CPU, GPU, ОЗУ и хранилища.

Набор тестов CoreMark-Pro измеряет скорость одноядерных (один поток) и многоядерных процессоров (два или более потоков) и состоит из различных блоков, выполняющих операции с плавающей запятой и целыми числами. Версия Base собрана компилятором Google Native Development Kit (NDK), а версия Peak использует компилятор процессора и должна обеспечить оптимальную производительность. Версия набора Peak поддерживается только Intel. Ее результаты приведены для сравнения и не включаются в общий балл устройства.

Тест Platform выполняет ряд операций с использованием SDK API платформы Android для имитации работы реальных приложений, тестирования производительности процессора, памяти и системы хранения данных. Сначала тест расшифровывает и распаковывает файл, рассчитывая его хэш для проверки целостности. Внутри файла находится база данных контактов, список задач в формате XML и несколько фотографий. Следуя инструкциям в списке задач, тест выполняет поиск в базе данных контактов и работает с изображениями. После выполнения файлы сжимаются, зашифровываются и сохраняются на локальном хранилище.

Как мы тестируем смартфоны и планшеты

Есть два различных теста памяти (ОЗУ). Тест Memory Bandwidth (пропускная способность памяти) на основе бенчмарка STREAM измеряет пропускную способность памяти, выполняя серию операций чтения и записи в одно- и многопоточных режимах. Затем вычисляется среднее геометрическое значение в Мбайт/с. Тест Memory Latency (задержка памяти) инициализирует блок памяти размером 64 Мбайт в виде списка указателей, элементы которого расположены в случайном порядке. Измерение времени прохода узла в списке, каждый шаг которого требует выборки следующего указателя узла из памяти, выдает значение задержки произвольного доступа к подсистеме памяти в виде количества элементов памяти в секунду, к которым был получен доступ.

Тест Storage (система хранения) выполняет на внутреннем NAND-хранилище ряд последовательных и произвольных операций чтения и записи файлов размером от 512 байт до 256 Кбайт, используя одно ядро процессора. Тесты повторяются для каждого размера блока, типа и режима доступа, а для вычисления результата используются усредненные значения. Общий показатель производительности системы хранения данных представлен средним геометрическим значением в Кбайт/с из средних показателей.

Как мы тестируем смартфоны и планшеты

3D-тест измеряет производительность GPU в игровом сценарии на базе собственного движка, разработанного Ravn Studio, в закадровом режиме рендеринга с разрешением 1920x1080. Для демонстрации также выполняется тест с экранным рендерингом, но его результаты не включаются в общий счет.

Общий результат устройства рассчитывается с использованием взвешенного среднего геометрического значения показателей всех подтестов: 25% CoreMark-PRO (базовый), 25% Platform, 25% 3D, 8,33% Memory Bandwidth, 8,33% Memory Latency и 8,33% Storage. Для формирования окончательного результата взвешенное среднее геометрическое затем умножается на 14,81661 (такой коэффициент используется для приведения результатов эталонного устройства к значению равному 5000).

Geekbench 3 Pro

Geekbench от Primate Labs представляет собой синтетический тест для платформ Android, iOS, а также настольных Windows, OS X и Linux. Бенчмарк анализирует производительность процессора в одноядерном и многоядерном режимах, выполняя серию целочисленных вычислительных задач, включая шифрование, сжатие, поиск маршрута и алгоритмы обнаружения краев, а также вычисления с плавающей запятой, такие как умножения матриц, быстрое преобразование Фурье, графические фильтры, трассировки лучей и алгоритмы моделирования физических взаимодействий.

Также есть одно- и многоядерные тесты памяти, построенные на базе теста STREAM. "STREAM copy" измеряет способность устройства работать с большими наборами данных в памяти путем копирования большого списка чисел с плавающей запятой. "STREAM scale" работает аналогично "STREAM copy", но в процессе тестирования умножает каждое значение на константу. "STREAM add" берет два списка чисел с плавающей запятой и добавляет значения одно за другим, сохраняя результат в памяти в третьем списке. Наконец тест "STREAM triad" является сочетанием задач add и scale. Он читает два списка чисел с плавающей запятой, умножая одно из значений на константу и добавляя результат к другому числу. Конечный результат записывается в память в третий список.

Как мы тестируем смартфоны и планшеты

Geekbench 3 Pro: Single-Core v3.3.1, баллы (больше – лучше)

Geekbench высчитывает три разных показателя. Каждая отдельная задача получает оценку производительности относительно базового результата, в нашем случае это 2500 баллов, полученные на Mac Mini (середина 2011 года) с процессором Intel Core i5-2520M 2,50 ГГц. Секция score (например, single-core integer) является средним геометрическим всех показателей задач в этой секции. И, наконец, показатель Geekbench score является взвешенным средним арифметическим значением результатов трех секций.

PCMark

Синтетические тесты, например, Geekbench, полезны для измерения пиковой производительности на аппаратном уровне. Но эти результаты трудно экстраполировать на системный уровень. Здесь на помощь приходит бенчмарк Futuremark PCMark, который измеряет производительность, выполняя задачи на основе реальных приложений. Тест не только измеряет производительность устройства в ряде распространенных сценариев, включая веб-серфинг, воспроизведение видео, написание текста и редактирование фотографий, но и позволяет узнать настройки системы DVFS (управления частотой и напряжением), которая оказывает существенное влияние на восприятие устройства пользователем.

Как мы тестируем смартфоны и планшеты

Тест Web Browsing использует элемент Android WebView для загрузки и взаимодействия со специальной страницей, имитирующей сайт социальной сети. Поскольку контент хранится в локальных файлах на устройстве, тест не зависит от скорости, задержки или пропускной способности сети. Он начинается с загрузки стартовой страницы, содержащей текст и изображения. Затем бенчмарк прокручивает страницу вверх и вниз, увеличивает изображение, загружает набор данных для функции поиска, выполняет поиск в окне поиска, выбирает эскиз изображения для добавления на страницу, а затем повторно отображает страницу после вставки нового изображения. Итоговый счет теста Web Browsing строится на основе среднего геометрического значения времени, потраченного на начальный и повторный рендеринг страницы, времени загрузки данных поиска и времени на выполнение поиска. Окончательный результат не включает время на прокрутку и масштабирование.

Тест Video Playback (воспроизведение видео) загружает и проигрывает четыре различных видеоролика, а затем выполняет несколько операций поиска в последнем видео. Видео имеет формат 1080/30fps с кодировкой H.264, базовым профилем и целевым переменным битрейтом 4,5 Мбит/с (максимум 5,4 Мбит/с). Тест выполняется в альбомной ориентации и использует родной API Android MediaPlayer. Результат основан на взвешенных средних арифметических показателях скорости загрузки видео, времени поиска и средней частоты кадров при воспроизведении. Сильнее всего на финальный результат влияет частота кадров, где накладывается большой штраф за их пропуск. Затем следует время поиска видео и, наконец, время загрузки видео.

Как мы тестируем смартфоны и планшеты

Тест Writing имитирует редактирование нескольких документов с помощью Android EditText в портретном режиме. Тест начинается с распаковки двух ZIP-файлов (2,5 Мбайт и 3,5 Мбайт) и открытия двух текстовых документов с изображениями. Все содержимое первого документа копируется и вставляется во второй документ, так создается файл примерно с 200 000 символов и четырьмя изображениями. Объединенный документ сжимается в ZIP-архив размером 6 Мбайт и сохраняется во внутренней памяти. Затем выполняется ряд операций вырезки/вставки, печатается несколько предложений и вставляется изображение. После документ сжимается и сохраняется в ZIP-файл размером 7,4 Мбайт. Итоговая оценка основана на среднем геометрическом показателе скорости завершения этих задач.

Тест Photo Editing (редактирование фотографии) загружает исходное изображение (2048 ? 2048 пикселей), накладывает фотоэффект, выводит результат, а для некоторых изображений сохраняет его обратно во внутреннюю память в формате JPEG с качеством 90%. Этот процесс повторяется с использованием 24 различных фотофильтров и 13 уникальных исходных изображений, при этом производится шесть промежуточных операций сохранения файла. В общей сложности для модификации исходных изображений используется четыре различных API, как показано в таблице ниже.

API, используемые в тесте PCMark Photo Editing для обрабокти изображения
API Описание Повторы
android.media.effect Выполняет всю обработку изображения на GPU 15
android.support.v8.renderscript Использует функции RenderScript Intrinsics, поддерживающие обработку на многоядрных CPU или GPU 3
android-jhlabs Запускает Java-фильтры на CPU 4
android.graphics Напрямую управляет прорисовкой экрана 2

Результат теста Photo Editing включает среднее геометрическое трех значений: среднего геометрического скорости наложения эффектов RenderScript, среднего геометрического скорости наложения эффектов Java и android.graphics и время наложения эффектов android.media.effect. Последний параметр также включает время загрузки и сохранения файла, сжатия/распаковки и дополнительный тест на обнаружение лица.

Результаты всех четырех вышеописанных тестов берутся из теста батареи в PCMark, который прогоняет их в бесконечном цикле и обеспечивает большое количество повторений. Показатели являются средним геометрическим значением показателей каждого отдельно прогона. Также есть результат общей производительности, который является средним геометрическим значением результатов четырех категорий.

TabletMark 2014

TabletMark 2014 от BAPCo – это бенчмарк системного уровня, повторяющий распространенные пользовательские сценарии. В отличие от PCMark, который работает только с Android, TabletMark 2014 является кроссплатформенным пакетом и поддерживает Windows, Windows RT, Android и iOS. Единственный нюанс в том, что ему для работы требуется экран с диагонально 7-дюймов или более, и тестирование ограничивается планшетами.

Этот тест использует API-интерфейсы платформы для измерения производительности в двух различных сценариях. Он также вычисляет общий показатель производительности в виде средней геометрической величины показателей двух сценариев.

Как мы тестируем смартфоны и планшеты

Как мы тестируем смартфоны и планшеты

Как мы тестируем смартфоны и планшеты

Как мы тестируем смартфоны и планшеты

Как мы тестируем смартфоны и планшеты

Сценарий Web and Email (интернет и электронная почта) измеряет скорость просмотра веб-страниц, загружая 34 страницы (из локальных файлов), включающих элементы HTML5, CSS и JavaScript. Скорость работы с почтой измеряется через доступ и отображение сообщений из файла почтового ящика размером 70 Мбайт, который включает в себя сжатие/распаковку файлов и задачи шифрования/дешифрования AES. Кроме того есть тест заметок, затрагивающий небольшие текстовые файлы.

Сценарий Photo and Video (редактирование фото и видео файлов) применяет различные фильтры и регулировки к восьми изображениям размером 14 Мп. Он также измеряет скорость вычислений с плавающей запятой и целыми числами с фильтром HDR, написанном на C. Также есть два проекта перекодирования видео: фильм размером 40 Мбайт, состоящий из четырех небольших клипов, и фильм размером 13 Мбайт, состоящий из двух небольших клипов с черно-белым фильтром. Готовое видео кодируется в H.264 с разрешением 1080p и битрейтом 8 Мбит/с.

MobileXPRT 2013

MobileXPRT 2013 от Principled Technologies для Android состоит из десяти реалистичных тестовых сценариев, поделенных на две категории: Performance (производительность) и User Experience (пользовательский опыт). Пакет Performance содержит пять тестов: Apply Photo Effects (применение фотоэффектов), Create Photo Collages (создание фотоколлажей), Create Slideshow (создание слайдшоу), Encrypt Personal Content (шифрование личного контента) и Detect Faces to Organize Photos (распознавание лиц на фотографиях). Результаты тестов измеряются в секундах. Пакет User Experience также включает пять тестов: List Scroll (прокрутка списка), Grid Scroll (прокрутка сетки), Gallery Scroll (прокрутка галереи), Browser Scroll (прокрутка в браузере) и Zoom and Pinch (масштабирование). Эти результаты измеряются в кадрах в секунду. Категория оценивается средним геометрическим соотношением между калиброванным устройством (Motorola Droid Razr M) и испытуемым устройством для каждого субтеста.

В этом бенчмарке главное не сами показатели, а как устройство их достигает. В тестах User Experience большинство устройств упираются в потолок вертикальной синхронизации 60 кадров и тесты производительности могут быть лишними. Реальные сценарии дают понимание работы системы DVFS, которая непосредственно влияет на восприятие скорости работы устройства.
Страница: Назад  1 2 3 Далее


СОДЕРЖАНИЕ

Как мы тестируем смартфоны и планшеты. Отзывы в Клубе экспертов THG [ 1 отзывов] Как мы тестируем смартфоны и планшеты. Отзывы в Клубе экспертов THG [ 1 отзывов]


Свежие статьи
RSS
Обзор и тестирование процессоров Intel Kaby Lake Core i7-7700K, i7-7700, i5-7600K и i5-7600. Часть 3 Обзор и тестирование процессоров Intel Kaby Lake Core i7-7700K, i7-7700, i5-7600K и i5-7600. Часть 2 Обзор и тестирование процессоров Intel Kaby Lake Core i7-7700K, i7-7700, i5-7600K и i5-7600. Часть 1 Лучший блок питания: текущий анализ рынка Самые странные гаджеты на CES 2017
Обзор процессоров Intel Kaby Lake Обзор процессоров Intel Kaby Lake Обзор процессоров Intel Kaby Lake Лучший блок питания Самые странные гаджеты на CES 2017

Копирование и распространение информации, упомянутой на страницах THG.ru возможно только при наличии у вас письменного разрешения руководства издания. По вопросам использования наших статей обращайтесь по электронной почте.

THG.ru ("Русский Tom's Hardware Guide") входит в международную сеть изданий Best of Media
РЕКЛАМА
РЕКОМЕНДУЕМ ПРОЧЕСТЬ!

История мейнфреймов: от Harvard Mark I до System z10 EC
Верите вы или нет, но были времена, когда компьютеры занимали целые комнаты. Сегодня вы работаете за небольшим персональным компьютером, но когда-то о таком можно было только мечтать. Предлагаем окунуться в историю и познакомиться с самыми знаковыми мейнфреймами за последние десятилетия.

Пятнадцать процессоров Intel x86, вошедших в историю
Компания Intel выпустила за годы существования немало процессоров x86, начиная с эпохи расцвета ПК, но не все из них оставили незабываемый след в истории. В нашей первой статье цикла мы рассмотрим пятнадцать наиболее любопытных и памятных процессоров Intel, от 8086 до Core 2 Duo.

ОБРАТНАЯ СВЯЗЬ
Дизайн!
У вас есть что сказать по поводу нашего дизайна? Советы или рекомендации? Направляйте критику и комментарии по электронной почте.
ССЫЛКИ
Реклама от YouDo
Услуги мастера: как прлключитт бойлер electrolux: подробное описание здесь.