En teoría, el software del benchmark debe correrse en un terminal y éste debe ejecutarlo como si fuera un código más del sistema para que las mediciones sean correctas y representativas, si no, los datos serán falsos. Es como si cuando vas al médico a hacerte un chequeo, y éste decide medirte para poder calcular lo que deberías pesar, consumir de energía al día, etcétera, tú fueras y te pusieras de puntilla aprovechando un descuido.
Figura 1: Terminales que (Y)es, detecta el Benchmark y cambia su setup
Pues como se puede ver en la tabla superior, casi todos los fabricantes de terminales, entre los que están HTC, Samsung o LG, detectan cuando se les está lanzando el benchmark, y cambian completamente el setup del dispositivo configurando las CPUs y todos los cores al máximo de frecuencia con el objeto de dar más rendimiento durante la ejecución del test. Es decir, dejan de funcionar como un smartphone o tablet para convertirse en un dispositivo configurado únicamente para ejecutar el test, lo que falsea los resultados.
Figura 2: Resultados obtenidos con el test de Mozilla Kraken (menos es mejor)
Cuando se le engaña al terminal, y este no detecta que el programa que está ejecutando es uno de los benchmarks, entonces se obtienen los resultados reales que la prueba desea medir. Entre los terminales probados por AnandTech, casi todos estaban haciendo alguna trampa con algún test, y solo Apple y Motorola han demostrado ir sin dopping a competir en estos Mobile Benchmarks. El resto, en mayor o menor medida han resultado ser cheaters.
Publicado en Seguridad Apple - Google+ - RSS - Eleven Paths - El lado del mal
Continúar leyendo...