Decisiones Basadas en la Evidencia...!Experimental!

 De   ()

En una de mis primeras entradas en Drugevijesti, escrita en Octubre de 2014, hablaba sobre cómo algunas empresas americanas se estaban abriendo a la experimentación como forma de tomar sus decisiones y, ésto es clave, de aprender sobre las relaciones causa-efecto entre las medidas que adoptaban. En los últimos meses, y especialmente desde la concesión del Premio Nobel de Economía a Richard Thaler, he podido notar cómo este primer impulso tomaba fuerza, incluso en nuestro país. Son varias las empresas, instituciones públicas, ONGs, y en particular las entidades financieras, las que han comenzado a crear pequeñas unidades internas de Economía del Comportamiento. Además, para nuestra sorpresa, los que nos dedicamos a ésto estamos recibiendo frecuentes llamadas de organizaciones de muy diversos sectores interesadas en introducir un enfoque "behavioral" y/o experimental en su día a día. También los cursos sobre "experimentación en empresas" se multiplican en todo tipo de másters (en los que habitualmente sí hay que presentar un Trabajo de Fin de Master, que suele ser una aplicación experimental). Afortunadamente, ya no somos tanto los investigadores quienes buscamos una colaboración en la "que nos dejen hacer un experimento" sino a quienes nos piden que los hagamos, no ya únicamente con un enfoque académico sino de aplicación real a sus procesos productivos. Por todo ello, creo que es buen momento para reflexionar sobre el potencial, y las dificultades, de utilizar el método experimental para tomar decisiones basadas en la evidencia, y no tanto "en la intuición" o en lo que "ha funcionado para otros".

Un experimento no es más que una prueba a pequeña escala en la que el resultado de una medida única, aplicada a una muestra elegida aleatoriamente, se compara con el resultado de un grupo de control, seleccionado igualmente de forma aleatoria. La clave que permite establecer que la medida tomada es la causa del efecto obtenido, reside en que la medida decidida sea realmente exógena, es decir, que tanto el grupo de tratamiento como el de control sean a priori perfectamente comparables (de ahí la aleatorización) y que, por tanto, no haya ninguna otra razón para observar diferencias entre ambos grupos más que el único aspecto que los diferencia, ess decir, la medida tomada, que es la causa del resultado. Un experimento es por tanto muy similar a un ensayo clínico, en el que a unos pacientes se les da el medicamento y a otros idénticos y sin que lo sepan, se les da un placebo.Sólo que nos experimentamos con pastillas, sino con personas.

Por poner un ejemplo sencillo, imaginen que tienen la intuición de que cierto programa de incentivos puede aumentar la productividad de sus empleados. En lugar de aplicarlo directamente, arriésgándose a posibles pérdidas si su intuición no es correcta, seleccionan un pequeño grupo (pero lo suficientemente grande desde un punto de vista estadístico) de trabajadores, de idénticas características al resto e idealmente aislados de los demás, de forma que no pueda haber interacción que "contamine" los resultados, y les aplican el programa. Si observan que la productividad aumenta respecto a aquellos con los que no se ha hecho nada, su grupo de control, pueden entonces inferir que al aplicar el programa a gran escala, los resultados serán escalables. Experimentos similares se pueden hacer para cambiar precios, introducir promociones, testar el contenido de sus políticas de comunicación, aumentar la recaudación de campañas benéficas, o diseñar la jerarquía interna de su organización.La clave es que tanto el experimentalista como la institución etiendan muy bien el mercado que estudian, y que estén dispuestos a hacer pruebas basadas en su intición informada.

Lo importanye es que antes de tomar una decisión final, disponga de evidencia clara y causal sobre sus efectos, a un coste relativamente pequeño. Para ello, es fundamental la colaboración entre quien diseña el experimento (que puede ser un académico, con o sin la participación, por ejemplo, de una consultora o una agencia de publicidad) y la institución en la que se realiza, que normalmente dispone de infomación interna sobre la organización y el mercado que se estudia, imprescindible para el correcto diseño de la prueba, pero que, en ocasiones, carece de la metodología apropiada para que el test permita extraer conclusiones causales y extrapolables. Como digo en muchas de mis reuniones con entidades abiertas a la experimentación, el economista del comportamiento no sabe la respuesta, sino que "sólo" dispone de 1) intuición informada por la evidencia previa de su disciplina y de 2) la metodología para encontrar la respuesta.

¿Por qué existen reservas en las empresas a adoptar la experimentación? Se mezclan  la incertidumbre de utilizar un método nuevo, la visión cortoplacista de la pérdida de beneficios que se puede tener mientras se experimenta (el coste real no es el del experimento, que siempre es escalable, sino las pérdidas por no estar tomando las medidas óptima), junto con la dificultad interna de que los gestores de una entidad admitan que no saben la respuesta a un problema, y necesiten experimentar para encontrarlo.

En estos artículos ( y ), dos de los mayores expertos en experimentación de campo,   (coautor de ) y (coautor de ), discuten algunos de los elementos prácticos esenciales para la realización de experimentos útiles, tanto desde el punto de visto del conocimiento académico como, y ésto es fundamental, desde el de la aplicación real de los mismos en decisiones diarias. Entre ellos, me parece crucial entender que los objetivos del académico y de la empresa pueden ser compatibles, pero no necesariamente idénticos: no es lo mismo querer comprender exáctamente por qué algo ocurre que aprender qué funciona y qué no para poder tomar un decisión rápida. Los tiempos son distintos, pero la colaboración y el acuerdo entre partes son cruciales. En ese acuerdo, suele ser importante establecer un compromiso de confidencialidad (que establezca que resultados son, si acaso, publicables y bajo qué condiciones, de forma que los competidores no puedan beneficiarse gratuitamente del conocimiento generado) y entender que los incentivos de las partes son múltiples: en ocasiones el economista del comportamiento estará principalmente interesado en una publicación científica, pero a veces también se le puede compensar con el acceso a una fuente de datos novedosa y/o se pueden establcer compensaciones económicas. Por ponerles un ejemplo, considero en el que estudiamos cómo incentivar a los clientes de una cadena de supermercados a contestar cuestionarios sobre hábitos de consumo como uno de mis trabajos académicos más interesantes, fundamentalmente por el acceso que nos dio para entender un mercado y un tipo dei ncentivos que hasta entonces se desconocían, a pesar de que la propia empresa con la que lo hicimos, que decidió mantenerse anónima, sólo nos permitiera publicar datos agregados, y no los datos, de los que disponemos y ellos continúan usando, sobre características individuales...¿qué incentivo funciona mejor para personas de distintas caracetísticas (edad, genero, raza, nivel socioeconómico....)?

Les animo por tanto a que hagan un ejercicio de modestia y honestidad, y se planteen tomar decisiones basadas en la evidencia proveniente de pruebas experimentales, y no tanto en lo que intuyen que va a funcionar. Aunque sean expertos en un campo y su intuición sea correcta, siguen existiendo grados de libertad (forma de hacerlo, tamaño de la medida, cuantificación del efecto esperado), que hacen interesante la experimentación. Y recuerden que experimentar no es probar muchos cambios a la vez, como se hace por ejemplo en algunos experimentos de marketing (otros son más estructurados), de forma que  si se obtienen resultados no sepan cuál de ellos es la verdadera causa, sino que pueden aprender mucho más si tienen la paciencia de usar el método científico para hacer cambios incrementales que de verdad les permitan entender las razones de un fenómeno.

Si están interesados en estos temas, y estarán por Barcelona tras la Semana Santa, les animo a asistir (disculpándome por el autobombo) al el 5 de Abril, donde hablaremos sobre "Experimental Research & Decision Making". Nos vemos allí...!o experimentando!

 

Hay 7 comentarios
  • Aunque los experimentos son una herrramienta poderosa, creo que convendría advertir que no son una panacea que vaya a resolver definitivamente los problemas de la economía, probablemente irresolubles dada la naturaleza del objeto con el que trabajamos: ¡el hombre! (y aquí, hombre quiere decir también mujer).

    Por ejemplo, "...seleccionan un pequeño grupo (pero lo suficientemente grande desde un punto de vista estadístico) de trabajadores, de idénticas características al resto e idealmente aislados de los demás, de forma que no pueda haber interacción que "contamine" los resultados ...Estas condiciones por sí solas, harían muy difícil usar esos métodos en el ámbito de una empresa concreta.

    Por otra parte, como Vd. señala, el experimento puede decir que algo funciona (o no), pero no porqué funciona (o porqué no).

    Como ya indiqué en otra entrada, en el siguiente artículo se detalla una crítica informada y sistemática a estos métodos,

    Gracias por la entrada

  • ¿Dónde queda la ética en todos estos experimentos?

    ¿No están violando muchos de ellos los derechos humanos?

    ¿No deberían necesitar la aprobación de un comité de ética antes de su realización?

    ¿No debería publicarse obligatoriamente los resultados para que los ciudadanos sepan a que atenerse y como pueden ser manipulados?

    • Gracias por sus preguntas.

      Cuando estos experimentos tienen un mínimo interés académico, siempre pasan por una comisión interidsciplinar de ética.
      En todo caso, el hecho de estudiar los resiltados de experimentos de forma sistemática no tiene mayores posibilidades de "manipulación" que las m´ltuples medidas que toman empresas para optimizar sus decisiones. Hacerlo de forma sistemática no las hace menos éticas.

      • Voy ha plantearle unas preguntas con un ejemplo:

        -"Supongamos que un estudio, como los que describe en su articulo, demuestra que los productos que son expuestos en las estanterías que quedan a la derecha del cliente se venden con mas frecuencia que los que se exponen en la estantería que queda a su izquierda en un pasillo cualquiera"

        - "Como resultado del experimento, un comercio obliga a los cientes ha circular en un único sentido por los pasillos, al mismo tiempo que expone los productos mas caros en las estanterías que quedan a la derecha del cliente".

        Las preguntas que le formulo son tres. Dos de ellas muy previsibles y una tercera no tan previsible:

        1) ¿Cree que se debería de prohibir por ley esta practica de obligar a los clientes a circular en un único sentido. por los pasillos de los comercios?

        2) Si no se hacen públicos los resultados de este tipo de experimentos ... ¿como pueden prohibirse para defenderte de un mal uso por parte de las empresas?

        3) El mero conocimiento por parte del cliente de la existencia del resultado ...¿no cambiaría el comportamiento de las personas al pasar por los pasillos?

        (La tercera es la pregunta interesante y esta muy bien reflejada en el argumento de la película Minorty Report)

        • En nuestras interacciones con los demás, todos respondemos estratégicamente, dentro de lo que nuestras capacidades nos permiten. Esto significa que condicionamos lo que vamos a hacer a lo que esperamos que las otras partes puedan hacer. Cualquier duda, recomiendo repensar los supuestos implícitos y explícitos de teoría de juegos.

          La respuesta estratégica de cada uno de nosotros siempre está condicionada por la moral personal de cada una de las partes y por la ética de las interacciones sociales. La conveniencia de que un tercero --sea político o jurista o cura o vecino o pariente-- intervenga depende del tipo de interacciones que estamos considerando y de la sociedad (en algunas interacciones el legado de la cultura es decisivo, algo que también depende de la sociedad en que esas interacciones se dan, pero en muchas otras ese legado implica la aceptación de la voluntad de las partes que bien pueden no querer que otros se entrometan).

          El problema de cualquier método para conocer mejor las respuestas de las otras partes es que se deben hacer supuestos fuertes para que ese conocimiento sea útil. Y esto es consecuencia de la imposibilidad de conocer "bien" a los demás, por cercanos que sean, algo que justifica a la confianza como fuente de toda cooperación entre humanos. ¿Si no me conozco "bien" a mi mismo, cómo puedo pretender conocer a los demás?

  • Pedro, ojalá lea este post

    y se pregunte si su propuesta de más experimentos para mejorar las decisions es o no un "monkey trap".

    Hace más de 50 años, cuando tenía poco más de 20 años y recién empezaba a estudiar economía, por razones de trabajo tuve que especializarme en evaluación social de proyectos y pronto fui considerado un "experto" (junto a unos pocos jóvenes también estudiantes de economía). A dos de nosotros se nos contrató para entrenar a unos "viejos" que estaban encargados de evaluar proyectos privados de inversión para decidir si se les concedía beneficios impositivos, pero poco o nada conseguimos. Por suerte, y para compensar esa mala experiencia, tengo otras positivas, en particular con "proyectos pilotos" en China y otros países. No tengo tiempo y espacio para detallar esas experiencias, pero lo que dice Bryan Caplan en su post me parece relevante para entender por qué algunas ideas con las que muchos están de acuerdo (en principio todos queremos mejorar nuestras decisiones) terminan siendo desechadas.

    Vivo muy lejos de Barcelona para asistir al evento del 5 de abril, pero quizás usted haría bien en plantear la pregunta que hago al principio.

Los comentarios están cerrados.

У нашей организации интересный интернет-сайт про направление www.engi.kiev.ua.
Нашел в интернете важный сайт со статьями про www.maxformer.com.
Наш полезный веб сайт со статьями про maxformer.com.

Centro de preferencias de privacidad