IDF 2005 – Intel revoluciona Benchmarks

Esta coluna estava “no forno” quando nosso amigo Skull_DeviLL noticiou “A terceira geração de benchmarks segundo a Intel” . Isso foi ótimo, pois já aguçou a curiosidade em relação a este assunto. Eu estive em uma sessão dupla no IDF Fall 2005 sobre este assunto, fui testemunha ocular da história e vi estes benchmarks sendo aplicados em tempo real. Por isso quero dividir o que vi e entendi com vocês.

Mas vamos começar a história desde o começo. Uma experiência foi feita em um evento para “gamers” (Cyberathlete Professional League) em dezembro de 2004. Este experiência consistia em colocar a disposição de 175 jogadores 5 tipos distintos de PCs variando entre P4 1.5 Ghz e P4 Extreme Edition 3.46 Ghz. Os jogadores não sabiam a plataforma que estavam sendo usadas. Os jogos disponíveis para testes eram Doom3, Half Life 2 e Unreal Tournament 2004. O slide abaixo mostra detalhes destas configurações usadas.

[singlepic id=7192 w=320 h=240 float=]

Os jogadores qualificaram em graus de 1 a 5 a “jogabilidade” em cada uma das plataformas-lembrando que era de forma cega (ele não sabia a plataforma sendo usada). As discrepâncias de hardware são propositais, pois o objetivo era medir o grau de satisfação do jogador em diferentes níveis de performance dos equipamentos que na prática se traduz também pelo “frame rate” atingido. A primeira conclusão que chegaram é que pelo critério de frame rate a satisfação dos jogadores atinge um máximo perto de 60 fps e não evolui mais em taxas acima destas. Uma das explicações possíveis talvez seja pela impossibilidade de ser percebida uma taxa acima dessas pelo ser humano nos hardwares atuais. Este assunto gerou uma discussão interessante no tópico do Skull_DeviLL!! Mas sendo pragmático, sendo uma limitação ou não a satisfação não cresceu além dos 60 fps, este é o resultado.

[singlepic id=7193 w=320 h=240 float=]

Entendam que o frame rate sendo discutido aqui é o frame rate baseado em uma análise em tempo real e não obtido em uma versão “demo” que simula o jogo. Um dos tais novos Benchmarks da Intel tem a capacidade de capturar esta informação em tempo real, durante o jogo. Este é o caso mais correto para ser analisado uma vez que componentes gráficos do jogos competem pelos recursos da CPU em igualdade de condições com o algoritmo de Inteligência Artificial (AI). Isso não acontece em uma simulação do jogo, pois esta é baseada em um script fixo sem ser afetado pelas ações do jogador que demandariam alto processamento para determinação das decisões do jogo. Isso foi provado usando a ferramenta de benchmark que iremos apresentar, mas, além disso, a Intel dispõe de uma ferramenta para otimização de softwares chamada VTUNE, a qual comprova que existe uma significante diferença entre o mix de instruções executadas pelo processador no modo “Time Demo” e no modo de jogo real. Isso mais uma vez confirma que a medida “seca” de frame rates de um jogo em “Time Demo” não é a melhor medida de desempenho para o mundo real.

[singlepic id=7196 w=320 h=240 float=]

Isso significa que obter 100 fps ou mais de desempenho em demos de jogos é ruim? De forma alguma, por causa do segundo fator, a constância e uniformidade. De que adianta um jogo obter frame rate de 60 fps se ao longo do jogo esta performance cai por algum tempo para níveis menores? Se isso acontece o jogador experimenta um mau momento, má resposta e portanto menor prazer no jogo. Na prática se uma plataforma entrega um frame rate alto em modo de simulação a chance desta taxa cair muito aquém do desejável torna-se menor. Por isso a “neurose” para se obter taxas estelares até faz algum sentido. Mas que tal entender um pouco melhor como isso funciona?

Foram desenvolvidos modelos de análise baseado em cálculos estatísticos complexos. Um deles, mais simples usa o conceito de “Threshhold”, ou seja, fator limítrofe. Definida esta barreira teórica de frame rates, quanto menor for o tempo (em percentual do tempo de jogo total) que esta barreira é violada (o frame rate cair abaixo de certo limite), melhor é a experiência percebida pelo jogador. O segundo modelo chamado Bayesiano é matematicamente mais elaborado consegue prever ainda melhor o grau de satisfação do usuário em função das características da plataforma, frame rate etc. O modelo de Threshold por ser mais simples tem sido mais usado, mas ambos acrescentam muito nas métricas para aferir a qualidade da experiência de uso do sistema.

[singlepic id=7194 w=320 h=240 float=]

[singlepic id=7195 w=320 h=240 float=]

A tela mostrada abaixo é a tela REAL, obtida silenciosamente a partir de uma foto tirada secretamente durante a apresentação, do , jogo feito pela própria Intel com objetivo de explorar os recursos gráficos das plataformas e que pelo que entendi será também incluído no Gamig Capabilities Assessment Tool em futuro próximo.

[singlepic id=7197 w=320 h=240 float=]

Além dessa forma de medir o desempenho para Games a Intel introduziu um modelo para avaliar o desempenho e qualidade de estações para uso doméstico. É muito interessante pois mistura análise quantitativa e qualitativa. Se pensarmos em uso doméstico algumas funções tem clara dependência de performance, mas outras não, sendo mais importante uma relação de recursos existentes. Vou explicar melhor. Para escrever textos e navegar na Internet QUALQUER computador comprado novo atualmente serve e mais desempenho para estas funções é inútil. Por outro lado exibição de vídeo (renderização de vídeo digital), eficiência da rede sem fio (imaginando uma função de streaming doméstico de conteúdo para outros ambientes) etc. são recursos dependentes de velocidade.

Muito interessante é o recurso que “mede” a qualidade do vídeo exibido. Ele é baseado em modelagens do comportamento humano em centenas de observações de vídeos (em laboratórios de usabilidade) confrontando os usuários com vídeos com diferentes graus de “densidade”, qualidade etc. Parece meio abstrato. E é mesmo. Mas eles conseguiram um modelo que ao ser reproduzido um vídeo (via streaming por exemplo), o software consegue qualificar e quantificar a qualidade do mesmo e avaliar a plataforma para este tipo de funcionalidade.

Na essência este outro método reúne uma relação de itens, como se fosse um check-list. Há conjuntos de recursos que agrupados definem um modelo de uso : BÁSICO, HIGH DEFINITION e CONECTED. Em função do grau de “compliance” o sistema testado é classificado. Isso valeria outra coluna, mas o assunto benchmark já é polêmico o suficiente sem que eu discuta máquina avaliando máquina em aspectos subjetivos como qualidade de vídeo!!

[singlepic id=7198 w=320 h=240 float=]

[singlepic id=7199 w=320 h=240 float=]

Lembrando a todos que estas nova ferramentas de análise levam em conta o uso de threads, ou seja, estão prontas para avaliar estações com vários processadores ou com múltiplos núcleos, desde que as aplicações estejam funcionando nesta modalidade.

Estes programas serão liberados para uso geral pelo site da Intel, segundo previsão, em setembro no endereço .