Методика тестирования видеокарт 2007. Использование FRAPS.
Тестирование в NFS Most Wanted с помощью FRAPS
Тестовый стенд и видеокарта все те же. Мы выбрали кольцевую трассу «Ironwood», ехали по ней два круга, при этом соперников было трое, дорожный трафик – максимальный. То есть, условия игры вполне реальные, и совершенно непредсказуемые с точки зрения повторяемости. И дождь идет, и темнеет-светлеет, да и соперники ведут себя на трассе совершенно по-хулигански. Теперь возьмем файл результатов « … frametimes.csv» и построим сначала график мгновенных значений FPS, а затем диаграмму распределения.
Как видите, значения FPS довольно равномерно распределены вокруг уровня около 60 FPS. Если быть точнее, среднее значение равно 59.2 FPS.
Вид диаграммы распределения более похож на «колокол», чем в тесте F.E.A.R., причем без всякого отбрасывания «лишних гармоник». Вертикальная красная линия, как и прежде, отмечает среднее значение FPS и, находится практически посередине нашего воображаемого «колокола». А значит можно сказать, что полученное среднее значение FPS вполне достоверно, и отражает реальную производительность видеокарты в данной игре.
Вернемся к графику FPS и его разбиению на четыре части. Мы сделали это для того, чтобы прояснить следующий вопрос – как долго нужно гонять по трассе, чтобы получился нормальный «колокол». Другими словами – Как форма диаграммы и среднее значение FPS, получаемое с помощью FRAPS, зависит от времени тестирования.
В наших условиях тестирования мы проезжали по кольцевой трассе два круга. То есть, каждая четверть из разбиения графика FPS соответствует примерно половине круга. Давайте построим диаграмму распределения FPS для первой четверти (первой половины первого круга).
Первая четверть. Время тестирования равно 42 с, среднее значение равно 56,5 FPS. Диаграмма распределения совершенно непохожа на «колокол».
Две четверти (первый круг). Время тестирования равно 84 с, среднее значение равно 59,9 FPS. На диаграмме потихоньку вырисовывается искомый «колокол».
Три четверти. Время тестирования равно 126 с, среднее значение равно 58,8 FPS.
Принципиальных отличий от предыдущей диаграммы нет. «Колокол» становится более вытянутым, но его форма практически не меняется.
Четыре четверти (два полных круга). Время тестирования равно 169 с, среднее значение равно 59,2 FPS.
Из вышеизложенного следует критерий минимально необходимого времени тестирования – продолжительность теста должна быть такова, чтобы дальнейшее увеличение времени тестирования не приводило к изменению формы «главного колокола» диаграммы распределения.
Итоговый ряд средних значений FPS для каждого отрезка выглядит так – 56.5, 59.9, 58.8, 59.2. Как видите, только значение для первой четверти сильно отличается от трех остальных. Если его отбросить (согласно сформулированному критерию) и найти среднее из средних для каждого участка, получим – 59,3 FPS. При этом отклонение составляет около 0,6 FPS в каждую сторону, то есть, всего ± 1% !
В нашем случае, при тестировании NFS Most Wanted достаточно «проехать» один круг по трассе (84 сек времени тестирования) или полтора круга (126 сек времени тестирования). Зная время тестирования и среднее значение FPS, можно приблизительно оценить общее количество отсчетов по следующей формуле – «время тестирования умножить на среднее значение FPS». Таким образом, необходимое число отсчетов, когда начинает работать статистический метод, равно 5000-7000. Мы неслучайно обращаем ваше внимание на данный момент. Если взять достаточно слабую видеокарту, средний FPS будет гораздо ниже, следовательно, уменьшится и суммарное число отсчетов, если время тестирования остается неизменным. Поэтому при тестировании «слабых» видеокарт время тестирования желательно увеличивать.
Выводы
Утилита FRAPS является мощным и точным инструментом исследования производительности видеокарт. Чтобы получить достоверные данные, необходимо:
- выбрать демо-сцену, адекватную типичному геймплею
- проводить тест в течении достаточного времени
- использовать файл результатов FRAPS вида « … frametimes.csv»
- после преобразования исходных данных файла « … frametimes.csv» вычислять искомые значения среднего FPS и, при желании, минимального и максимального FPS.
Заключение
С помощью вышеописанного метода тестирования с использованием FRAPS и последующей обработки данных можно получить весьма точные и адекватные значения производительности видеокарт в играх, не имеющих встроенного бенчмарка. Более того. Указанным способом можно проанализировать «качество» демо-сцен во встроенных в игры бенчмарков, а также получить представление о характере игрового «движка».
К сожалению, за рамками данного материала пришлось оставить один весьма животрепещущий вопрос – что же считать минимальным значением FPS. Как вы видели на примере встроенного теста F.E.A.R., значения минимального FPS, показываемые встроенным бенчмарком, могут сильно расходиться с действительностью. Поверьте, это только вершина айсберга. Вопрос требует тщательного исследования. Но об этом мы расскажем в следующий раз.
Обсудить статью на форуме
