Hacia la evaluación de la calidad en los proyectos culturales

El detonante han sido los años previos de crisis económica, de inflación de “contenedores culturales” y de casos de corrupción (sí, en cultura ha habido mucha corrupción), sumado a la desconfianza desarrollada hacia un sector que se ha demostrado muy poco capaz de hacer comprender a la sociedad el valor intrínseco de sus proyectos. ¿Cómo convencer de que la cultura es útil a una ciudadanía cada vez más crítica y alejada con su valor en la sociedad? Practicando el advocacy y rendición de cuentas, algo que sin embargo no se ha dado demasiado entre las organizaciones culturales.

De manera creciente la sociedad está reclamando a las instituciones que cuenten lo que hacen, cómo, por qué y qué resultados están obteniendo. Pero, ¿cómo sabe una organización cultural que está haciendo bien su trabajo, que aquello que quería conseguir está teniendo los resultados deseados y que, en definitiva, es útil a la sociedad en la manera en la que se pretendía?

La evaluación es imprescindible para que las instituciones puedan rendir cuentas sobre qué acciones llevan a cabo, con qué objetivos y recursos, y cuáles son sus resultados. Además, sólo así podrán desarrollar de manera eficaz su pensamiento estratégico. Pero lo cierto es que poco han cambiado las cosas desde que se señalara que “las organizaciones culturales españolas no han sabido contarle a la sociedad en qué manera sus acciones transforman la realidad de manera efectiva, porque en general, ni siquiera ellas mismas lo saben”. (Vid. ¿Cómo medir los resultados de la cultura?)

Pese a las buenas intenciones que abundan entre los gestores, lo cierto es que todavía son pocos quienes comparten detalles sobre los resultados de su gestión en cultura porque, en términos generales, ni se mide, ni se evalúa.

Por ejemplo, el último Informe de transparencia y buen gobierno de los museos de bellas artes y arte contemporáneo 2016 de la Fundación Haz desvela que, en lo que respecta a los indicadores ligados a la evaluación de resultados (cumplimiento de objetivos, cumplimiento del presupuesto e información sobre visitas), los museos españoles continúan suspendiendo en evaluación. De hecho, el indicador de cumplimiento de objetivos es el que peores resultados presenta de los 24 analizados.

Esta circunstancia generalizada se justifica a menudo con argumentos sobre la escasez de recursos que mina a muchos agentes culturales. Sin embargo, dicha explicación desvela que muchos proyectos culturales se están haciendo “a medias”, pues la evaluación ha de ser una parte esencial de cualquier proyecto y después de los años precedentes de burbuja y posterior crisis, ya ha quedado claro que, impulsar iniciativas de esta manera resulta insoportablemente caro y contraproducente.

En otras ocasiones, dicha falta de evaluación se justifica con el argumento de que la cultura es “distinta” y que, como presunta consecuencia de ello, no se debe medir en base a criterios cuantitativos o economicistas como el número de visitantes, de venta de localidades, de pernoctaciones hoteleras, etc.

Efectivamente, el valor intrínseco de la cultura no es el económico, aunque las acciones culturales puedan generar impacto de este tipo y sea importante medirlo. Pero lo cierto es que cuando se defiende que el valor de la cultura es “otro” y que, por tanto, la cultura se ha de medir de “otra” manera, muy rara vez se especifican los detalles concretos de cómo esta debería ser medida y en base a qué indicadores.

¿Para qué se produce y se disfruta la cultura? ¿Cuál es el valor que aportan las acciones culturales? ¿Cómo se sabe si lo que se hace consigue los resultados deseados? Algunos responden a estas preguntas con argumentos sobre la capacidad transformadora de la cultura en la vida de las personas y en la sociedad en su conjunto, dada su particular forma de fomentar el pensamiento crítico, la empatía y la democracia. Pero la cuestión es saber si cualquier acción cultural consigue tales resultados y en qué medida, pues si no los proyectos culturales podrían ser considerados equivalentes y, por tanto, daría igual unos que otros.

Sin embargo, es una realidad que tanto la administración pública como el propio sector de la cultura desde sus iniciativas privadas, seleccionan y promocionan unos proyectos culturales y otros no. ¿En qué se basa tal selección? ¿Qué determina el interés de un proyecto: el gusto, la calidad, la demanda por parte de la ciudadanía? ¿Quiénes han de determinar tales criterios: expertos, comunidades de afectados, ciudadanía en general?

La sociedad reclama rendición de cuentas a la cultura y pregunta cada vez más sobre las razones por las que un determinado proyecto cultural (una obra de teatro, una obra plástica, un grupo musical, etc.) es merecedor de ser contratado, subvencionado, premiado o adquirido por una institución, a diferencia de otros.

Es necesario dar explicaciones a los grupos de interés, por lo que parece conveniente consensuar elementos y marcos de análisis para constatar con ciertas garantías que la selección de calidad -que efectivamente sí se está haciendo- es la más acertada y conveniente. Lo contrario llevaría a pensar que las decisiones se toman desde la arbitrariedad, sin razones que las sustenten, y eso solo sirve para alejar aún más a la ciudadanía de la cultura.

Pero da la impresión de que, hasta la fecha, ha convenido que “lo bueno” en cultura se mantuviera en dicho estado de indefinición, de tal manera que todo lo que se autoimpusiera el adjetivo de “cultural” había de ser aceptado -sin cuestionamientos- como equivalente de “bueno” por la razón indefinida y pretendidamente irrefutable de la cultura es, en sí misma, “buena”.

Refiriéndose al teatro, Alberto Fernández Torres -uno de los profesionales que más análisis sobre evaluación de calidad en cultura ha hecho en España-, escribía sobre esta circunstancia en un artículo titulado Teatro y control de calidad y publicado ya hace más de diez años:

“…una de las principales barreras a la introducción de criterios de gestión eficiente, responsable y profesional en el sistema teatral es el recelo que éstos generan, bien de forma intuitiva, bien de forma argumentada, en amplios segmentos de la profesión teatral y de los propios reguladores públicos.

En muchos casos, este recelo es, sin duda, bienintencionado, fruto de la voluntad de mantener una determinada posición ética respecto del hecho teatral. En otros, por decirlo todo, se debe a que a algunos profesionales y demás agentes ya les va bien con el actual estado de la cuestión, en el que la supuesta imposibilidad de introducir criterios objetivos para valorar la actividad y resultados de unos y otros conduce a un confortable entorno de irresponsabilidad consentida o consensuada.

De esta forma, oponiendo asimétricamente creatividad contra objetividad, se defiende que, en el límite, casi todo en teatro es opinable y que no hay ni habrá nunca varas de medir fiables que permitan asegurar, de manera universalmente aceptada, que tal proyecto está mal concebido, que tal programación es cuestionable o que tal espectáculo carece de calidad”.

Entre el gusto y la evaluación de calidad

Las organizaciones culturales presentan en España una sintomática resistencia a la evaluación de calidad y podría incluso parecer que la dificultad intrínseca de medir las acciones culturales les estuviera sirviendo a muchas de parapeto argumentativo para no afrontarla. Sin embargo, en este país ha habido algunos buenos intentos dedicados a este empeño que muestran una importante línea de futuro a seguir por las organizaciones españolas.

Un ejemplo en el ámbito del teatro fueron las Jornadas sobre la calidad en las artes escénicas en Santurce, celebradas ya hace diez años. Este encuentro se planteó por su director, Robert Muro, con el objetivo de sacar la evaluación del arte de su confinamiento en el territorio de lo subjetivo con preguntas como: ¿Es objetivable, medible, siquiera sea aproximadamente, la calidad en los procesos de formación, creación y producción y en los productos artísticos finales? ¿Es posible, o deseable incluso, conocer o fijar unos criterios en que podría basarse esa calidad?

Además de en esta jornada, el anteriormente citado Fernández Torres también participó en 2010 en la quinta edición de la Escuela de Verano de Redescena (Red Española de Teatros, Auditorios, Circuitos y Festivales de titularidad pública). Con su participación definió de esta manera el dilema que es necesario resolver:

“Un gestor que se responsabiliza de una programación no puede ‘no decidir’ sobre la calidad de los espectáculos porque, si bien elige unos y no otros, ya está emitiendo ‘en estado práctica’ un veredicto sobre la calidad.

El problema no es si se quiere o no establecer la calidad de un espectáculo, sino si se quiere hacer con herramientas que aporten un cierto grado de rigor y objetividad o no”.

Fuera ya España, el Arts Council England (ACE) aplica desde hace más de un año el proyecto Quality Metrics, un sistema nacional de evaluación de la calidad artística de obligatoria aplicación entre las organizaciones no lucrativas de la cultura. El proyecto tiene grandes aciertos, como el hecho de estar liderado por el propio sector de la cultura, pues cualquier otro impulsor hubiera generado tremendas suspicacias y, probablemente, errores de visión. Otro de los aciertos ha sido el utilizar un sistema de evaluación que combina tres formas posibles: la autoevaluación, la evaluación entre pares y la evaluación pública.

Quality Metrics tiene precedentes en diversos proyectos piloto de destacado interés. El primero fue la investigación resultante de un proyecto denominado Manchester Metrics Pilot y que impulsaron ocho organizaciones culturales de Manchester en el año 2014. Sus resultados, disponibles en los documentos Manchester Metrics Pilot. Final Report on Stage One y The Manchester Metrics Pilot: Findings and Lesson Learned, ayudaron a que el Arts Council continuara profundizando en su interés por la medición de la calidad artística.

Así pues y continuando esta línea de preocupación, Simon Mellor, subdirector ejecutivo de Arte y Cultura del Arts Council, se preguntaba en el artículo Understanding the value of arts and culture sobre las claves del llamado engagement cultural, esa conexión entre el proyecto cultural y el público al que afecta:

“Para un sector que depende tanto de la reacción del público, sabemos sorprendentemente poco sobre lo que valoran en una experiencia artística o cultural y lo que realmente piensan de la calidad de esa experiencia. Cuando alguien se dedica a una actividad, ¿qué hace que esa persona diga ‘eso fue genial’?”.

Con esta inquietud, el Arts Council England se ha lanzado al intento de evaluar la calidad de los proyectos culturales haciéndolo a partir de la colaboración y el impulso de los diversos agentes del sector. De esta manera han definido doce indicadores fundamentales, siendo los nueve primeros para ser evaluados por la propia organización, por sus pares y públicamente; y los tres restantes solo para la autoevaluación y la evaluación entre pares:

1. Concepto: ¿Fue una idea interesante?
2. Presentación: ¿Fue bien producido y presentado?
3. Distinción: ¿Era diferente de las cosas que ha experimentado antes?
4. Desafío: ¿Fue provocador?
5. Poder de cautivación: ¿Fue absorbente y llamó la atención?
6. Entusiasmo: ¿Volvería de nuevo a algo parecido?
7. Impacto local: ¿Es importante que esté sucediendo ahí?
8. Relevancia: ¿Tiene algo que decir sobre el mundo en el que vive?
9. Rigor: ¿Ha estado bien pensado y organizado?
10. Originalidad: ¿Fue innovador?
11. Riesgo: ¿Los artistas/comisarios se desafiaron a sí mismos?
12. Excelencia: ¿Es uno de los mejores ejemplos de su tipo que ha visto?

A partir de ello, Arts Council England ha desarrollado una aplicación digital que permite a las organizaciones participantes en el programa, elaborar y lanzar encuestas entre sus grupos de interés, a través de las cuales obtienen datos de forma estructurada y en tiempo real. Estos datos pueden ser tratados en cuadros de mandos (dashboards) y posteriormente contrastados dentro de un marco de análisis de calidad estandarizado que, además, permite obtener una gran cantidad de datos desde una multitud de pequeñas organizaciones diseminadas por todo el país.

En un tiempo como el actual en el que la idea “el crítico ha muerto: viva el influencer” parece estar calando en la sociedad, el sector de la cultura en España tiene el reto de poner en valor aquello a lo que se dedica. Puede ser un ejercicio interesante y muy necesario para la cultura española esforzarse en definir y hacer explícitos los valores y criterios por los que la cultura -puede que hoy más que nunca- sea un bien necesario en la sociedad, que hay que apoyar, defender e incentivar.