Методика тестирования компьютеров под управлением macOS, v2.0, часть 2: синтетические бенчмарки, игры и нагрев

и игровые бенчмарки.

Синтетические бенчмарки

Здесь, по большому счету, никаких изменений по сравнению с предыдущей версией методики нет, но обновились сами бенчмарки.

JetStream

Начнем с браузерного JavaScript-бенчмарка JetStream. В качестве браузера использовался Safari.

Браузерные бенчмарки, которые мы используем при тестировании мобильных устройств на iOS/Android, здесь запускать не имеет смысла, потому что мощи «взрослых» устройств Apple достаточно для того, чтобы не беспокоиться о скорости работы движка JavaScript в браузере. Поэтому мы приводим показатели лишь одного такого бенчмарка JetStream — что называется, до кучи. Ну, и для сопоставления компьютеров и ноутбуков со смартфонами и планшетами, если кому интересно.

Geekbench

Разумеется, не обойтись и без Geekbench — пожалуй, самого популярного бенчмарка для macOS. Увы, новая, четвертая версия этого бенчмарка несовместима с третьей. Зато в ней добавили тест GPU (Compute Benchmark) на основе OpenCL и Metal. Вот здесь детально объясняется, где, как и зачем может применяться OpenCL при разработке приложений для macOS. Что же касается Metal, то это основной инструментарий для разработки игр под macOS.

Важный нюанс: в подтесте Compute можно указать, какой GPU будет задействоваться, если в компьютере есть дискретная графика. Поэтому в таблице ниже вы увидите в соответствующей ячейке у MacBook Pro 15″ (Mid 2015) два значения. Первое — для интегрированного графического ядра, второе — для дискретной графики.

Здесь в результатах можно отметить, во-первых, гигантский отрыв iMac Pro именно в тестах Compute и, во-вторых, относительно небольшой разрыв в одноядерном CPU-тесте между всеми тремя моделями.

GFX Benchmark Metal

Для тестирования производительности в играх есть подходящий бенчмарк: GFX Benchmark Metal. Он основан на OpenGL и ориентирован именно на тестирование GPU, причем с задействованием технологии Apple Metal (как видно из названия). Мы использовали его раньше и считаем необходимым включить этот тест в новую версию методики.

Результаты тестирований сведены в таблицу:

Как видим, здесь в результатах ничего неожиданного. Не стоит забывать, что в Offscreen-тестах разрешение везде одинаковое, фиксированное, а в остальных — соответствует разрешению экрана. Кроме того, в тестах T-Rex и Manhattan стоит ограничение в 60 fps, так что больше нельзя набрать физически.

CompuBenchCL

В дополнение к GFX Benchmark Metal мы решили взять в новую методику еще один бенчмарк того же разработчика: CompuBenchCL 1.5. Он проверяет вычислительную производительность GPU и CPU в OpenCL. Важно, что здесь есть имитации реальных режимов работы (в отличие от Geekbench), а графический ускоритель задействуется не только в игровых сценариях. Среди подтестов есть даже майнинг биткойнов.

Вот так выглядит окно CompuBenchCL. Вверху надо выбрать, что будем задействовать: CPU или GPU. Причем если GPU есть и интегрированный, и дискретный, то можно выбрать любой из вариантов. А вот выбрать нижний вариант (CPU+GPU) пока нельзя. Очевидно, что CPU нас в данном случае не очень интересует, так как для процессора этот тест не показателен. А вот GPU во всех возможных вариантах — да.

Что здесь интересно? На MacBook Pro 15″ можно сравнить результаты интегрированного и дискретного GPU, то есть в некотором роде это более развернутый вариант теста Compute в Geekbench 4, что дает нам возможность подтвердить полученные результаты.

BlackMagic Disk Speed

Если перечисленные выше бенчмарки помогают нам оценить производительность CPU и GPU, то BlackMagic Disk Speed ориентирован на тестирование накопителя — скорости чтения и записи файлов.

Это очень простое приложение, в котором можно выбирать объем данных, с помощью которых будет тестироваться быстродействие накопителя (от 1 до 5 ГБ), но больше никаких настроек нет, так что остается только нажать кнопку Speed Test Start и запустить процесс.

Игры

Примерное представление о производительности в играх может дать уже GFX Benchmark Metal, однако самый лучший способ понять, насколько подходит компьютер для игрового применения — просто попробовать на нем поиграть.

В прошлой версии методики мы использовали для этого Deus Ex: Human Revolution и World of Tanks: Blitz из Mac App Store, в которых измеряли количество кадров в секунду с помощью CountIt. Однако, во-первых, World of Tanks: Blitz сейчас без проблем идет на любых конфигурациях актуальных компьютеров Apple, включая 12-дюймовые MacBook, так что для тестирования он не очень показателен. А во-вторых, CountIt — все-таки не самый удобный и корректно работающий инструмент. Поэтому в новой версии методики мы решили отказаться от CountIt и воспользоваться Civilization VI со встроенным графическим бенчмарком. Для этого в главном меню игры выбираем Benchmark / Graphics Benchmark.

Суть его работы очень проста: демонстрируется сцена, измеряется FPS. По итогам бенчмарк выдает два значения: Average Frame Time — среднее время отрисовки кадра, 99th Percentile — время отрисовки, которое обгоняют 99% кадров (т. е. отброшен результат отрисовки 1% кадров с самой низкой скоростью, чтобы избавиться от случайных тормозов). Оба значения выводятся в миллисекундах, однако мы решили переводить миллисекунды в более привычные FPS. Делается это просто: делим 1000 (поскольку в 1 секунде 1000 мс) на полученное значение и записываем результат. В таблице указываем его с округлением до одной десятой. Соответственно, чем больше FPS, тем лучше.

Однако здесь встает вопрос, какие настройки ставить. Начнем с того, что максимальное разрешение будет напрямую зависеть от разрешения экрана, причем оно будет меньше. Например, в случае с MacBook Pro 15″ это 1440×900. Поэтому делать какие-то выводы о производительности «в вакууме» по этим результатам весьма сложно. Но помимо разрешения есть и другие настройки, и здесь картина следующая: iMac Pro отлично работает при выставлении максимальных настроек, а MacBook Pro 15″ при этом демонстрирует меньше 1 к/с, так что это совершенно неработоспособный вариант. Видимо, в случае с более слабыми моделями, чем iMac Pro, целесообразно выставление настроек по умолчанию — и тогда у MacBook Pro 15″ получаются такие же результаты, как у iMac Pro с максимальными настройками. Это дает представление о реальном игровом комфорте в одном из самых требовательных и известных проектов.

В таблице приведены значения для iMac Pro при максимальных настройках, а для ноутбуков — при выставленных по умолчанию.

При этом требования игры таковы, что даже на самых производительных конфигурациях максимальные значения FPS не достигаются, а это хорошо для наших задач.

Измерение нагрева CPU и GPU

И последнее, без чего не обойтись при тестировании компьютеров и особенно ноутбуков: измерение нагрева. Зачастую именно недостаточно хорошее охлаждение становится причиной падения производительности и дискомфорта при использовании. Для тестирования нагрева мы используем утилиту Tunabelly TG Pro.

Она демонстрирует нагрев всех основных компонентов, включая каждое ядро CPU и GPU в отдельности, а также умеет создавать лог и отображать температуру в режиме реального времени.

Tunabelly TG Pro имеет смысл использовать во время длительного тестирования, предполагающего максимальную нагрузку — например, в операциях видеомонтажа.

Также мы можем в случае необходимости измерить внешний нагрев корпуса и шум. Это может быть целесообразно в тех случаях, когда они явно выходят за рамки комфортных значений. Описание и примеры того, как это делается, можно найти в статьях из раздела «Ноутбуки и планшеты» (например, здесь).

Выводы

Что ж, теперь у нас есть полное представление о том, как тестировать производительность компьютеров на macOS и с помощью каких тестовых инструментов мы можем получить наиболее интересные и показательные результаты.

Конечно, любой набор бенчмарков будет неидеальным. Надо понимать, что бенчмарки — это условность, и те «попугаи», которые они выдают, далеко не всегда будут показательны с точки зрения реального использования. Однако, в отличие от профессиональных приложений, бенчмарки более универсальны и позволяют составить общее примерное представление об уровне производительности. Именно поэтому нам кажется важным сочетать оба этих подхода.