¿Por qué preguntar con encuestas no suele funcionar? 

por Amalio Rey el 11/11/2013 en Consultoría, Design Thinking, Emprender, Favoritos, Innovación Social, Marketing

Cada vez desconfío más de las encuestas como método de recogida de información. Lo peor es que los datos, una vez obtenidos, irradian un halo de rigor objetivo que a menudo no tienen. Después vemos, para más inri, que se toman decisiones importantes basadas en estadísticas obtenidas no se sabe cómo.  

Explicaré por qué me tomo las encuestas con tanta prudencia, me pregunto siempre cómo han sido diseñadas antes de concederle crédito, e intento complementarlas con otras fuentes de análisis que me ayuden a corregir sesgos:

1. Cuestionarios mal diseñados: Los errores en el diseño de los cuestionarios son pan de cada día. No se hacen bien las preguntas, así que no sirven para demostrar estadísticamente lo que prometen. Seguro que has tenido que rellenar encuestas en las que las preguntas condicionan, las opciones para marcar se solapan entre sí y dan ganas de marcar varias a la vez, se usan términos ambiguos sin estar bien definidos, o faltan opciones que se ajusten a tu situación así que terminas eligiendo “otros”. En fin, ya tenemos el primer sesgo, el del diseñador del cuestionario, que delimita el espacio de posibles respuestas al modelo que él o ella se ha imaginado. Ah, y que conste que saber diseñar cuestionarios fiables es una habilidad escasa. No abundan profesionales que sepan hacerlo bien, y los que hay, suelen ser bastante caros.
2. Muestra sesgada: Si el QUÉ preguntas ya es tendencioso, ni te digo el QUIENES son los sujetos de la consulta. Como no es viable preguntar a toda la población bajo estudio, hay que diseñar muestras que sean estadísticamente representativas, y eso (francamente) pocas veces se da con el rigor que nos hacen creer los que presentan los resultados. A más prisa por publicar titulares y menos pasta para financiar la investigación, más atajos que añaden dudas al diseño del experimento. Por ir al grano, la pregunta clave que me hago siempre es esta: ¿Tiene cada elemento de la población bajo estudio la misma posibilidad de formar parte de la muestra? Es decir, cuánto de realmente aleatoria es la selección, o si lo prefieres: ¿en qué medida los investigadores han sido capaces de eliminar o minimizar los llamados “factores de influencia” que (siempre) inducen sesgos en la muestra? Esos factores de distorsión pueden ser de muchos tipos. A veces el tamaño de la muestra es ridículamente pequeño para la población de la que se pretende extraer conclusiones. En otras se incurre en un “sesgo de selección” al adoptarse un método de recogida de datos que ya filtra la muestra a favor de un tipo de resultados (p.ej. si pretendes hacer un estudio de opinión a partir de lo que responden tus seguidores de Twitter, ya sabes que partes de una muestra sesgada tanto porque la limitas a twitteros, con lo que ello significa, como porque la tamizas bajo un segundo filtro que es el de “tus” seguidores). Por eso, siempre me preocupo de preguntar cómo ha sido el procedimiento de recogida de datos antes de conceder validez a un resultado, porque sé que los errores de autoselección son muy frecuentes.
3. La gente no dice (siempre) la verdad: Hay muchos motivos para mentir en una encuesta, o sea, para no decir deliberadamente la verdad. Uno de ellos es cuando la pregunta aborda un tema delicado, que genera suspicacias o vergüenza, por reflejar aspectos íntimos o entrañar datos que podrían ser utilizados para otros fines. Un factor de distorsión muy usual, que subestiman los investigadores, es el deseo de “quedar bien” que hace al encuestado dar respuestas más optimistas de lo que realmente piensa. En resumen, la gente que miente, o no dice la verdad de forma consciente, lo hace habitualmente por prudencia, desconfianza o pena.
4. Fallos de memoria: A menudo la respuesta es falsa no porque se mienta deliberadamente, sino por otras distorsiones. Eso se agrava porque es bastante común que la gente conteste a las encuestas con cierta prisa. No recuerdo haber respondido un cuestionario de ese tipo en un contexto que invite a la reflexión, la serenidad y el análisis pausado. Un problema clásico es que nos falle la memoria a la hora de elegir opciones, sobre todo cuando hacen preguntas sobre cantidades, frecuencia o temporalidad. Tampoco es fácil acordarse en ese preciso momento en que te preguntan, por ejemplo, del café que más te gusta, del tipo de experiencias turísticas que más te emocionan o del rango de precios que has pagado por determinado servicio (incluso cuando hablen de rangos, y no de promedios, que ya es rizar el rizo).
5. La gente se auto-engaña: Seguimos con respuestas que no implican una mentira deliberada pero que también conducen a datos adulterados. Hay preguntas que las personas tienden a responder según lo que les gustaría que fuera, y no lo que es en realidad. A la hora de contestar, cuentan la película del “debe” y no del que “es”, y además, se lo creen. Es natural porque resulta complicado ser objetivos, así de golpe, ante un cuestionario que te ponen sin una preparación previa que te ayude a hacer una introversión razonada. Al final, la gente responde lo más fácil, en piloto automático, incluso con estereotipos, inducida por prejuicios, fobias o filias; pero esa respuesta puede que sea disonante con lo que realmente haría si se viera en la situación expuesta.

Estas desviaciones son bastante más comunes de lo que se cree. Algunas se producen con mala intención, por una manipulación estadística deliberada, pero muchas por simple ignorancia estadística, así que aquí caben motivaciones que van desde lo absurdo hasta lo fraudulento.

¿Estoy diciendo que hay que prescindir de la encuesta como herramienta de recogida de datos? No, ni mucho menos, porque necesitamos métodos cuantitativos para aportar valor estadístico al análisis. En su lugar, lo que estoy diciendo son dos cosas: 1º) No des validez a la primera a los resultados de una encuesta sin preguntar cómo ha sido diseñada y el método seguido para la recogida de los datos, 2º) Usa también otras herramientas para complementar y contrastar el análisis.

Además de los cinco factores de prudencia que cité antes, a mí cada vez me gustan más los métodos cualitativos, sobre todo para estudios cuyo fin es detectar oportunidades de innovación. Y ahí entra el Design Thinking y su énfasis en “capturar historias”, un asunto que expliqué ampliamente en este post: “Antropología de la Innovación”.

He aprendido que la observación, o la simple conversación, pueden funcionar mejor que hacer preguntas directas vía cuestionarios. Pedir a los sujetos bajo estudio que dibujen, fotografíen, graben vídeos o cuenten su experiencia y su contexto, puede abrir al investigador o investigadora un amplio espectro de oportunidades.

La posibilidad de hacer “tracking”, etnografía digital, muestreos de comportamiento en tiempo real y otras técnicas que documentan hechos (lo que hacen, y no lo que dicen que hacen) suponen un avance notable en estudios de este tipo. La construcción de relatos sobre personas y comportamientos humanos (no datos) es un instrumento también muy válido para identificar oportunidades, y descubrir ideas y soluciones.

En fin, que la vida (y su inmensa riqueza) no cabe en una Hoja Excel, aunque tampoco yo esté proponiendo prescindir de ella.