Evaluación de resultados: De las buenas intenciones al impacto
Medir el impacto social se ha convertido en la obsesión de todas las organizaciones. En los últimos diez años se han multiplicado las reuniones, libros, congresos y proyectos centrados en la evaluación de resultados de las organizaciones no lucrativas. Varias son las causas que explican esta preocupación por medir el alcance de las actividades.
En primera lugar, las organizaciones sociales se han encontrado compitiendo por los recursos con cientos de instituciones que hace veinte o treinta años no existían. Pensemos, por ejemplo, en las ONG de desarrollo; en el año 1985 sólo existían media docena de organizaciones; actualmente tenemos a diecisiete Coordinadoras Autonómicas de ONG para el Desarrollo repartidas por todo el país que agrupan a cientos de instituciones.
Sólo la coordinadora andaluza tiene 57 ONG afiliadas. Hace veinte años los donantes no tenían dónde escoger, ahora la oferta es muy amplia y eso fuerza a las organizaciones a diferenciarse más, y en esta estrategia de diferenciación mostrar los resultados ha pasado a ser un criterio importante para captar o retener a los donantes.
Pero la obsesión de la métrica no se circunscribe exclusivamente a las ONG.
La creciente participación de la empresa –gracias al auge de la RSC– en el área social, tradicionalmente reservada a las organizaciones no lucrativas, ha situado la contabilidad del impacto social en el primer plano. Las primeras acciones de RSC comenzaron con iniciativas que trataban de minimizar el impacto negativo de la empresa en su entorno, pero conforme esa guerra se fue ganando las organizaciones comenzaron a plantearse qué más podían hacer por influir positivamente en el mismo.
El artículo de Michel Porter y Mark Kramer Strategy and Society, publicado en diciembre de 2006 en la Harvard Business Review, terminó de abrir la herida por completo al acusar a la mayoría de las empresas de tener una estrategia de RSC reactiva, formulada como contestación a las campañas de los grupos activistas, pero carente de una propuesta de valor propia y diferenciada que reforzase las ventajas competitivas de la empresa. Sólo un año antes Prahalad, el otro gurú de la estrategia empresarial fallecido repentinamente este año, había publicado otro texto (The fortum at the botton of the pyramid) en el que abría un panorama desconocido a las empresas para que aumentasen su impacto social focalizándose en lo que sabían hacer, desarrollar su negocio, pero pensando en los sectores más vulnerables («C. K. Prahalad: El hombre que reinó en la cúspide de la base de la pirámide»).
Lo cierto es que la entrada de la empresa en el campo social ha impulsado una preocupación mayor por desarrollar herramientas que permitan medir el impacto de su acción social. Las críticas, cada vez más frecuentes, a la metodología de reporting desarrollada por GRI –sus indicadores son muy parciales y no sirven para dimensionar la creación de valor social de la empresa– están llevando a muchas compañías y organizaciones sociales (vid. Herramientas para medir el impacto social y económico) a ensayar otras técnicas de medida. Pero no basta con la voluntad de querer medir.
Las compañías se han encontrado con un problema que las organizaciones sociales (ONG, fundaciones, asociaciones) llevan enfrentando desde hace mucho tiempo: medir el cambio social no es tan sencillo como contabilizar el número de detergentes o de pólizas vendidas.
CUANDO EL PRODUCTO ES EL CAMBIO SOCIAL. A una empresa le es relativamente sencillo conocer si va por buen camino. Dispone de unos indicadores económicos (el beneficio al final del año) que, sin ser completos, son suficientes para hacerse una idea de la situación. Para una organización no lucrativa (ONG) no es tan fácil. El beneficio no es el criterio determinante de su buen desempeño, éste viene determinado por el cumplimiento de su misión social. ¿Pero cómo se puede conocer si se está cumpliendo la misión social? La verdad es que la mayoría de las organizaciones sociales no se han preocupado en exceso por medir su impacto hasta fechas relativamente recientes.
Se pensaba, y muchas organizaciones lo siguen haciendo, que bastaba justificar la inversión económica en una causa. En realidad ese sigue siendo el único criterio de éxito para muchas instituciones. Basta recordar las recientes declaraciones de Emilio Botín, en la presentación de la Memoria de la Fundación Marcelino Botín, en las que reclamaba el liderazgo en España de esta organización por su inversión de 33 millones de euros. Pero el Sr. Botín yerra en el mensaje y la audiencia, al confundir la métrica de las organizaciones filantrópicas con la propia de una remesadora de dinero, porque las organizaciones no lucrativas no son líderes por la inversión realizada sino por el cambio generado en su entorno.
Esto que puede resultar de una obviedad insultante es, sin embargo, ignorado por la mayoría de las instituciones. No hay más que revisar las memorias anuales de las principales fundaciones y ONG españolas para constatar que ninguna de ellas menciona el cambio generado gracias a su acción, en el mejor de los casos informan sobre el número de proyectos realizados, las áreas de intervención, la población atendida y los países donde están presentes. Pero toda esta información lo que nos indica es cómo fue gastado el dinero, pero no el resultado final de esa inversión.
¿Y por qué no evalúan sus resultados las organizaciones? Pues porque no es nada sencillo. En principio el término evaluación trata de dar respuesta al interrogante: ¿Fue eficaz nuestro programa? Pero esta pregunta tan sencilla tiende a complicarse: ¿Cómo de efectivo fue en relación con otras acciones? ¿Produjo algunos efectos no deseados? ¿Por qué funcionó o no funcionó? ¿Qué lecciones se podrían aplicar en otros contextos diferentes? ¿Es ampliable nuestro programa? ¿Hay otros programas más atractivos desde el punto de vista costebeneficio? ¿Cuántos de los resultados son atribuibles directamente a nuestra intervención? ¿Pueden haber intervenido factores externos no controlados en los resultados finales? Todas estas cuestiones no son fáciles de contestar desde el punto de vista técnico.
El objetivo de la mayoría de las organizaciones no consiste en prestar servicios, los servicios y actividades son sólo medios para alcanzar un objetivo que persigue cambiar las vidas. (vid. La Florida: cuando en el centro está el hombre). Además, responder con el rigor exigido a estas cuestiones tiene un coste económico que muchas organizaciones no se pueden permitir. Estas dos razones, la complejidad de determinar científicamente el resultado de nuestras acciones y el coste económico de hacerlo son los dos principales obstáculos que enfrentan las organizaciones a la hora de impulsar las acciones de evaluación.
PERO, ¿QUÉ ES LA EVALUACIÓN? La evaluación es un concepto que tiene múltiples significados, comprende objetivos no siempre compatibles y se pretende utilizar como un elixir milagroso para curar todo tipo de dolencias. El primer paso requiere situar la evaluación dentro del contexto más general de los programas o acciones sociales.
Como explica en su portal el Abdul Latif Jameel Poverty Action Lab, un centro vinculado al MIT especializado en temas de evaluación, antes de iniciar un programa social es preciso realizar una evaluación de las necesidades sociales cuya finalidad es identificar la naturaleza del problema, definir la población objeto de intervención y determinar los servicios que atacarán el problema detectado.
Esta fase inicial es crítica, pues si los servicios no son diseñados adecuadamente para atender el problema o si la necesidad no existe el programa devendrá ineficaz. Por ejemplo, si una población rural está bebiendo agua contaminada, un programa puede intentar evitar que la población se contamine mejorando la infraestructura sanitaria mientras otro puede tratar el agua contaminada usando cloro. Una determinada intervención puede dirigirse a los que contaminan, mientras otra a los contaminados. Una puede partir de la asunción de que la población no sabe si el agua está contaminada, mientras otra parte de que sí lo saben pero no tienen acceso a pastillas de cloro, o incluso que sí tienen acceso a las pastillas pero no las utilizan por diversas razones (gusto, coste, desinformación, problemas culturales, etc.).
Una vez identificadas las necesidades y elegida la estrategia adecuada se formula el programa o intervención con el fin de atender esas necesidades. Todo programa o intervención social supone o incorpora una teoría del cambio, se entiende que como consecuencia de la intervención una determinada realidad sufrirá un cambio positivo. La secuencia de esta acción se puede expresar de acuerdo con el marco lógico descrito en la tabla 1.
Una vez que el programa o la iniciativa ha sido concebida, comienza propiamente el proceso de evaluación que suele dividirse en dos grandes áreas: la evaluación de programas y la evaluación de impacto, esta última se puede considerar una subcategoría de la primera. La evaluación de programas analiza la eficacia de las actividades, el proceso de implementación y los servicios prestados. Suele comprender las siguientes cuestiones:
- ¿Han sido consistentes los servicios con los objetivos?
- ¿Consiguió atender nuestro programa a la población elegida?
- ¿Se han utilizado con eficacia los recursos?
- ¿Se prestaron los servicios previstos a la población?
- ¿La gestión del programa ha sido eficiente?
El principal objetivo de la evaluación de impacto es conocer si un determinado programa o acción ha tenido un impacto (en algunos resultados principales), y más específicamente cuantificar la extensión de ese impacto.
¿Qué es el impacto? En el ejemplo de la distribución de pastillas de cloro, el impacto sería la cantidad de personas que están sanas gracias al programa en comparación con las que no lo estarían si éste no hubiese tenido lugar.
O más específicamente, cómo hemos conseguido disminuir la incidencia de la diarrea gracias a nuestra intervención.
La evaluación de impacto estima la eficacia del programa comparando los resultados obtenidos por aquellos (personas, comunidades, escuelas, etc.) que participaron en el programa contra aquellos que no lo hicieron. El elemento crítico en cualquier evaluación de impacto consiste, precisamente, en seleccionar con el mayor rigor un grupo que no haya participado (grupo de control) en el programa y que reúna las mismas características que los que sí lo hicieron para que las comparaciones sean fiables.
LOS LÍMITES DE LA EVALUACIÓN DE IMPACTO. La mayoría de las organizaciones suelen identificar la evaluación con la evaluación de impacto, pero ésta es sólo parte de aquélla y además no es la parte más importante de los programas. Tratar de fijar en una foto el resultado de nuestras acciones no es posible. La evaluación sólo se puede concebir como un proceso de aprendizaje continuo y no como un expediente para evitar los errores (vid. ¿Medir o aprender?).
Los proyectos sociales suelen nacer con una idea preconcebida de lo que debe hacerse y lo que es preciso evitar. Aunque se ha avanzado mucho en hacer partícipes a las comunidades en el diseño y ejecución de los proyectos, lo cierto es que aquéllas no pasan de ser, en la mayoría de los casos, meras ejecutoras formales de fórmulas elaboradas por terceros.
Seguimos pensando que los proyectos y los programas sociales consisten básicamente en la realización de una serie de actividades dirigidas que conducirán a unos resultados previsibles, y no en un conjunto de incentivos que facilitan la libre elección y remueven los obstáculos para que éste sea efectivo. No terminamos de aceptar que los errores son parte esencial del aprendizaje y no un mal que hay evitar a toda costa controlando la actividad de los demás. Gran parte de la experiencia de estos últimos años demuestra, inequívocamente, que los programas, para que funcionen realmente, deben ser propiedad de la gente a la que sirven (vid. La Florida: cuando en el centro está el hombre). Muchas organizaciones tienen muy claro cuáles son las necesidades que quieren cubrir, pero a menudo no entienden esas necesidades desde la perspectiva de sus beneficiarios.
No se trata del consabido tópico de orientarse al cliente, porque cuando abordamos programas sociales no hay diferencia entre «producto» y «cliente», ya que el «producto final» consiste en transformar al beneficiario de sujeto pasivo en actor de su propio destino. Quizá esta sea la gran lección pendiente.
