Source: https://www.scribd.com/document/33462807/evaluacion
Timestamp: 2017-03-25 13:26:32+00:00

Document:
BrowseInterestsStay InformedCareerPersonal GrowthFiction & BiographiesHealth & FitnessLifestyleCultureBrowse byBooksAudiobooksNews & MagazinesSheet MusicBrowse allUploadSign inJoincarta compromisocon el ciudadano
Director Nacional Alterno del Proyecto de Modernización del Estado BIRF-4423 AR Lic. Christian Asinelli
Directora de la Oficina Nacional de Innovación de Gestión Arq. Carmen Porqueres de Sycz
Editado por la Subsecretaría de la Gestión Pública y el Proyecto de Modernización del Estado BIRF-4423 AR
Documento elaborado por: Silvia Nakano Koga (*)
Profesionales intervinientes (*): Giancarlo Baruzzini, Gustavo Belitrand, Marcelo Fano, Alejandro Garvie, Esteban Secondi.
Publicación de la Subsecretaría de la Gestión Pública y del Proyecto de Modernización del Estado BIRF 4423-AR Dirección de Calidad de Servicios y Evaluación de Gestión Av. Roque Sáenz Peña 511, 7° piso, Oficina 704. Ciudad Autónoma de Buenos Aires e-mail: compromiso@sgp.gov.ar ISBN 987-9483-13-8 1. Ciudadanía. CDD 323.6 Edición, corrección y composición general: Programa Carta Compromiso con el Ciudadano Unidad de Información y Comunicación. Buenos Aires, octubre de 2006.
I. MARCO CONCEPTUAL DE LA EVALUACIÓN • La evaluación de Programas en el Sector Público. • La evaluación del Programa Carta Compromiso con el Ciudadano. - Propósitos y objetivos de la evaluación del Programa Carta Compromiso con el Ciudadano. - Principios que guían la evaluación del Programa.
9 9 12 13 18
II. ESTRUCTURA DEL SISTEMA DE EVALUACIÓN • ¿Cómo evaluar? El Modelo de Evaluación: etapas y tipos de evaluación. - La medición. - El monitoreo. - La evaluación. • ¿Qué evaluar en el marco del Programa? Ejes y niveles de la evaluación del Programa en los organismos. • Evaluación del nivel de cumplimiento. • Evaluación del nivel de desarrollo.
26 26 26 28 30 32 35 35
III. METODOLOGÍA DE EVALUACIÓN • ¿Con qué evaluar? Criterios para la valoración del desempeño. - Paso 1: Determinar el nivel de cumplimiento de los estándares y compromisos de mejora. - Paso 2: Evaluar el nivel de cumplimiento de los estándares y compromisos de mejora de la Carta. - Paso 3: Evaluar el nivel de desarrollo del Programa en el organismo.
37 37 39 46 59
I. GUÍA PARA LA EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO • Variables de evaluación de los resultados de estándares de calidad y compromisos de mejora de Servicios Esenciales y del Punto de Contacto. • Variables de evaluación de los resultados de estándares y compromisos de mejora de los canales del Sistema de Información y Comunicación. • Variables de evaluación de los resultados de estándares y compromisos de mejora del Sistema de Participación Ciudadana. • Variables de evaluación de los resultados de los estándares y compromisos de mejora del Sistema de Quejas y Sugerencias.
73 75 77 88 93
II. GUÍA PARA LA EVALUACIÓN DEL NIVEL DE DESARROLLO • Evaluación del nivel de desarrollo del subcomponente Estándares de Calidad de los Servicios Esenciales. • Evaluación del nivel de desarrollo del subcomponente Estándares de Calidad del Punto de Contacto. • Evaluación del nivel de desarrollo del componente Sistema de Información y Comunicación. • Evaluación del nivel de desarrollo del componente Sistema de Participación Ciudadana y del Sistema de Quejas y Sugerencias. • Evaluación del nivel de desarrollo del componente Monitoreo y Evaluación.
Evaluar al Estado, para ponerlo al servicio de la sociedad
La publicación que aquí se presenta refiere a dos elementos imprescindibles en la construcción de un Estado moderno, transparente y participativo. Por un lado, a la evaluación del desempeño de la gestión pública. En el ciclo de las políticas públicas, la evaluación de la calidad de los servicios que presta la administración permite saber efectivamente si se han alcanzado las metas planteadas, y actúa como un estímulo para optimizar los procesos, los servicios y los productos generados por las instituciones públicas. Sólo así es posible verificar el logro de los resultados previstos, detectar y corregir problemas recurrentes y planificar apropiadamente las próximas tareas de la organización. Un Estado eficaz y eficiente requiere, de manera ineludible, de adecuados mecanismos de monitoreo de sus políticas. El segundo aspecto es la participación ciudadana. Durante mucho tiempo, el Estado fue percibido como un cuerpo cerrado a la sociedad, impenetrable a sus demandas e inaccesible a sus opiniones y reclamos. Por la misma razón, ése era un Estado débil, carente de legitimidad social y desprovisto de la información que pueden brindarle quienes mejor conocen cómo está realizando su labor: los ciudadanos. La transparencia, la receptividad y calidad de los servicios y la productividad de la administración mejoran significativamente cuando ésta rinde cuentas a la ciudadanía, y cuando escucha la opinión de la sociedad. Un Estado participativo es un Estado con legiCarta Compromiso con el Ciudadano 5
timidad para desarrollar y sustentar políticas activas, y un Estado mejor preparado para ser eficiente en ese trabajo. El Programa Carta Compromiso es, simultáneamente, un eficaz mecanismo de participación ciudadana y una valiosa herramienta de evaluación de la administración pública. Nos permite identificar las necesidades y expectativas de los usuarios de los servicios que presta el Estado, así como medir empíricamente el grado de cumplimiento de nuestros compromisos con ellos. Al mismo tiempo, al planificar nuestras actividades privilegiando qué espera y qué necesita la ciudadanía del Estado, estamos optimizando los recursos humanos y materiales de la administración, poniéndolos al servicio de producir beneficios concretos para la sociedad. A eso apuntan, en definitiva, todas las políticas que llevamos adelante desde la Subsecretaría de la Gestión Pública de la Nación. En este objetivo ocupa un rol fundamental la evaluación del desempeño de la administración. Sabemos que éste ha sido, históricamente, un componente débil o incluso ausente en nuestros procesos de políticas públicas, y de allí la importancia que le asignamos a consolidarlo y fortalecerlo. Estoy convencido de que este documento constituye un insumo de gran utilidad en ese propósito.
Calidad y Evaluación son dos conceptos que se vinculan estrechamente en todas las iniciativas de mejora de las organizaciones públicas que tienen como objetivo principal implementar las políticas destinadas a dar respuestas a las demandas y necesidades de la ciudadanía. En ellas, la calidad refiere a la prestación de servicios que respondan a las expectativas y requerimientos de sus destinatarios y de la población en general, de un modo económico, eficiente, eficaz, efectivo y justo. Esta última cuestión, es decir, el conocimiento de los logros de una gestión de calidad y la mejora continua de las organizaciones sólo es posible mediante la medición, el monitoreo y las evaluaciones periódicas. La calidad y la receptividad de las organizaciones públicas prestadoras de servicios son los dos aspectos centrales del Programa Carta Compromiso con el Ciudadano que se examinan en el momento de su evaluación, con el objetivo de conocer y valorar los resultados obtenidos, identificar y detectar problemas y ayudar a encontrar soluciones adecuadas a los mismos. En este marco, el documento desarrolla los conceptos, objetivos y metodología a partir de los cuales el Programa instala la práctica de la medición, el monitoreo y la evaluación del nivel de cumplimiento de los compromisos que los organismos públicos asumen al suscribir sus cartas y de los resultados e impactos obtenidos, teniendo siempre como referencia las políticas establecidas y lo que los ciudadanos necesitan y esperan. El Capítulo I establece el marco conceptual del Sistema de Evaluación, con los principales propósitos y objetivos que conlleva evaluar un Programa de calidad como Carta Compromiso en el seno de las organizaciones públicas. También establece una serie de principios hacia los cuales se
Carta Compromiso con el Ciudadano 7
tiende desde la práctica de la evaluación que provienen de los lineamientos generales del Programa. El Capítulo II identifica las etapas y objetos de análisis involucrados en el proceso de evaluación, describe los elementos que componen el Sistema de Evaluación y las relaciones que establecen entre sí a lo largo del desarrollo del Programa en los organismos públicos. El Capítulo III se aboca a la descripción de la metodología de la evaluación del Programa Carta Compromiso y los Anexos presentan las herramientas desarrolladas y aplicadas para llevar adelante la evaluación del nivel de cumplimiento y del nivel de desarrollo del Programa en el organismo. El propósito central de la evaluación de la gestión pública es contribuir a mejorar el desarrollo de las organizaciones y de los servicios que prestan, garantizar una gestión transparente que rinda cuenta de las acciones implementadas y promover la democratización de la administración. Este es también el propósito que perseguimos a través del Sistema de Evaluación del Programa Carta Compromiso con el Ciudadano que desarrollamos en este documento.
I. Marco Conceptual de la Evaluación
“Sería un error infravalorar la importancia de la teoría de la evaluación de programas y desaprovechar las lecciones de la experiencia pasada”. (Xavier Ballart, 1996)
LA EVALUACIÓN DE PROGRAMAS EN EL SECTOR PÚBLICO Existen en la actualidad diversas miradas respecto de lo que significa la evaluación de los programas en el sector público, pero la mayoría de los autores coincide en considerarla como una herramienta imprescindible para conocer los resultados alcanzados en la implementación de las políticas: la calidad de la gestión y de los servicios que prestan las organizaciones que conforman el gobierno, la satisfacción obtenida por la ciudadanía y el impacto logrado en el entorno o en la sociedad. Para estos autores la finalidad de esta actividad se centra, entonces, en conocer si las organizaciones que tienen a su cargo la ejecución de las políticas, utilizan adecuadamente los recursos y producen los servicios con la eficiencia, eficacia y efectividad requeridas para alcanzar los objetivos establecidos. Todo ello, con la finalidad de valorar los resultados obtenidos y facilitar la toma de decisiones destinadas, en los casos que sea necesario, a rediseñar las políticas, los programas a través de los cuales se ejecutan las mismas y la gestión y producción de los servicios destinados a los ciudadanos. Así, por ejemplo, se relaciona a la evaluación “con el análisis de los resultados de ciertas políticas o programas específicos” y con “la valoración, sisCarta Compromiso con el Ciudadano 9
temática y objetiva que se ejerce sobre los proyectos, programas o políticas” (Subirats, 2005). Esta concepción de evaluación pone el acento en el análisis valorativo de los resultados de los programas. Otras definiciones existentes sobre la evaluación de programas públicos, apuntan a “... la aplicación de métodos de búsqueda sistemática para apreciar la concepción, realización y eficacia de los programas”, haciendo eje en los aspectos metodológicos (Chelimsky, 1985). Asimismo, existen enfoques que enfatizan el potencial de la evaluación para la mejora continua, entendiendo que ésta sirve para “... encontrar maneras de gestionar mejor (los programas)” (Wholey, 1983). Cualquiera sea el énfasis puesto en el proceso de evaluación, los aportes de los expertos coinciden en destacar que la importancia de evaluar el desempeño público se relaciona con su potencialidad para fortalecer la capacidad de gobierno de las instituciones y su contribución a la democratización de la Sociedad y el Estado. Que la evaluación logre estos objetivos depende, sin embargo, de la comprensión de las características del contexto en que esta actividad se desarrolla. Ya en la década del 70, Carol Weiss (1972) advertía que la evaluación de programas públicos es “una empresa racional que se desarrolla en un contexto político”. El contexto de la evaluación es el Estado, terreno en el que se dirimen cuestiones críticas de la sociedad y del cual resultan políticas que intentan dar respuesta a las necesidades de la ciudadanía. En tal sentido, el análisis de los resultados de la gestión de los organismos públicos no es una tarea fácil. Requiere de ellos “la capacidad de equilibrar múltiples objetivos (eficiencia, equidad, estabilidad, crecimiento, transparencia, democracia) y mediar intereses de diversos actores que compiten por recursos generalmente escasos” exigiendo, específicamente de la evaluación, que sea “suficientemente sensible al impacto que estas negociaciones pueden tener en los resultados de la gestión pública. Ello supone concebir sistemas de evaluación cuyas características técnicas no reduzcan o amenacen la integridad de su naturaleza política” (Ospina Bozzi, 2001).
Las advertencias anteriores respecto del contexto en que tiene lugar la evaluación de programas públicos exigen que cualquier desarrollo teórico y metodológico de la misma atienda a objetivos técnicos con un claro sustento político para contribuir en forma efectiva a la consolidación de procesos de desarrollo institucional y al fortalecimiento de las instituciones públicas. Interpretar un “desvío” del resultado o un objetivo no logrado exclusivamente en términos de un problema organizativo, de tecnologías de gestión, de falta de recursos económicos, excluyendo del examen la existencia de posibles intereses y lógicas que intervienen en ese resultado, reduciría el margen de análisis y por ende, empobrecería las observaciones limitándolas a una cuestión de mala voluntad o falta de capacidad de las personas. Para que la evaluación realice aportes valiosos es necesario que incluya en sus análisis las decisiones y prioridades de carácter estratégico y político, comprendiendo la dinámica interna y externa en la que se desenvuelven las organizaciones públicas. En el marco de lo señalado anteriormente, es importante destacar, como lo indican diversos autores que el desempeño del sector público transita por varios niveles: un nivel de desempeño del personal (nivel micro), uno de los programas y las organizaciones (nivel meso) y uno de las políticas públicas (nivel macro). Concebir que existen múltiples niveles de análisis del desempeño del sector público tiene implicancias a la hora de estimar tanto los alcances y restricciones de los programas que se lleven adelante en el sector público, como las posibilidades y límites de su evaluación (Subirats, 2005; Ospina Bozzi, 2001; y Sanín Angel, 1999, entre otros). Para que la evaluación en el nivel de la gestión pueda producir los efectos esperados sobre la capacidad de gobierno y la democratización de las instituciones públicas, resulta imprescindible que se articule con los otros niveles de evaluación: “Si se quiere hablar de un sistema, se tiene que hablar necesariamente de las interconexiones y sobre todo, de la articulación de estos niveles. Por ejemplo, la evaluación del desempeño de un funcionario (nivel micro) tiene que estar referida a la manera como sus acciones posibilitan el cumplimiento de la misión organizacional (nivel meso); y la evaluación de la
organización tiene que estar referida a la manera como ésta posibilita acciones del gobierno para implementar las políticas públicas (nivel macro). De esta manera, los niveles más macro de la evaluación pueden utilizar información de los niveles inferiores, e igualmente, los sistemas de los niveles inferiores pueden ser ajustados y desarrollados con la información que se recibe de los niveles superiores”.
LA EVALUACIÓN DEL PROGRAMA CARTA COMPROMISO EN LOS ORGANISMOS En el caso del Programa Carta Compromiso, la evaluación constituye una apreciación analítica y sistemática del cumplimiento institucional de los objetivos de receptividad y calidad, proveyendo información confiable y útil para los organismos y los destinatarios de los servicios públicos a fin de mejorar en forma continua sus niveles de desempeño. La evaluación de este Programa desarrollado en las organizaciones encargadas de proveer servicios o implementar aspectos concretos de los planes de gobierno, constituye un nivel intermedio de evaluación del desempeño que, conforme a lo señalado anteriormente, se denomina nivel meso. Evaluar el desempeño en este nivel implica centrarse en el examen acerca de su eficacia y efectividad, atendiendo al “tipo y calidad de las interrelaciones entre esas organizaciones públicas y el exterior de las mismas” (Ospina Bozzi, 2001). En este marco, el Programa promueve una evaluación basada en el modelo de Gestión por Resultados en el cual se inspira. Esto es, el análisis se centra en los logros alcanzados por la gestión, determinando en qué medida el organismo cumple eficazmente con los estándares y compromisos de mejora previstos en su Carta Compromiso para los servicios que presta. Asimismo, la evaluación del Programa analiza la efectividad del organismo, a partir de relevar el grado de satisfacción que los destinatarios de los servicios mantienen sobre dichos resultados.
12 SISTEMA DE EVALUACIÓN
Si bien la evaluación del Programa se centra en el análisis de los resultados obtenidos en un período determinado, ésta se concibe como un proceso cuyas etapas 1 van generando las condiciones para posibilitar la misma: se inicia con la producción de datos e información a partir de las mediciones sistemáticas tendientes a conocer el nivel de cumplimiento de estándares y compromisos de mejora previstos; continúa con los controles de dicha información, el análisis de los desvíos y las posibles soluciones para subsanarlos en la instancia de monitoreo, y finaliza con las acciones para valorar los resultados y logros alcanzados por el organismo durante ese período, lo que constituye la instancia de evaluación propiamente dicha. Propósitos y objetivos del Sistema de Evaluación del Programa Carta Compromiso con el Ciudadano. En el caso específico del Programa Carta Compromiso la necesidad de la evaluación reside en la información que produce esta práctica para mejorar en forma continua los servicios brindados a la ciudadanía. Sin la evaluación no hay posibilidad de conocer los resultados y detectar los desvíos en los que se ha incurrido; sin disponer de los resultados es imposible analizar el funcionamiento de la gestión y los aspectos a mejorar; sin mejoras que provengan de analizar la gestión difícilmente se pueda fortalecer la capacidad institucional. Es decir, no hay oportunidades de que la organización aprenda de sus aciertos y de sus errores y, en consecuencia, pueda cumplir adecuadamente los objetivos de las políticas establecidas. En esa perspectiva, las razones que alientan la evaluación del desarrollo del Programa en los organismos se sustentan en su contribución para: • Establecer claramente los niveles de responsabilidad de los funcionarios públicos y su obligación de dar cuenta de sus acciones (“accountability”); • Garantizar una gestión más transparente y receptiva a la demanda de los ciudadanos;
1. Las etapas de medición, monitoreo y evaluación se desarrollan en el Capítulo II: Estructura del Sistema de Evaluación.
Carta Compromiso con el Ciudadano 13
• Motivar a los empleados públicos a dar prioridad a la perspectiva del ciudadano y del usuario en el diseño y producción de los programas y servicios y facilitar su participación en la evaluación de los mismos; • Mejorar la calidad en los servicios prestados por el sector público, lo cual incide directamente en los dos pilares de una política de desarrollo: el bienestar de la población y la competitividad del sector productivo. • Mejorar la productividad del sector público, legitimando en los ojos de los usuarios y ciudadanos la provisión gubernamental de bienes públicos. Tomando en consideración las perspectivas anteriores, la evaluación del Programa cuenta entre sus propósitos principales generar en los organismos un espacio de reflexión para conocer si se están gestionando y produciendo adecuadamente los servicios públicos destinados a dar respuesta a lo que los ciudadanos necesitan y esperan. En tal sentido, centra la atención en los resultados que produce la organización pública, preocupándose por la receptividad a las demandas ciudadanas y la calidad de los servicios que se prestan. Este paradigma que sustenta el Programa implica priorizar el logro de los objetivos generales y específicos de las organizaciones públicas, avanzando más allá del exclusivo cumplimiento de las normas, procesos y procedimientos establecidos. La perspectiva de organización que subyace a esta concepción reconoce la naturaleza productiva de los organismos públicos. Este enfoque sostiene que la finalidad de las organizaciones del aparato institucional es producir servicios que generen valor público, entendiendo esto último como la satisfacción equitativa de necesidades humanas y observables. Por ejemplo, se genera valor público cuando la Administración imagina escenarios y diseña estrategias conducentes a disminuir la pobreza, mejorar la educación o la salud, que luego son evaluables en términos de su efectividad, es decir, que se puede verificar si se lograron los resultados esperados en la población a partir de los recursos asignados (Hintze, 2003). Para conocer los logros alcanzados, la evaluación es una herramienta que ayuda a discernir cuán cerca o cuán lejos están los servicios públicos de cumplir
14 SISTEMA DE EVALUACIÓN
con los objetivos de las políticas, de alcanzar las expectativas de los ciudadanos y de lograr su plena satisfacción. La evaluación es una de las actividades centrales del proceso de mejora continua de los servicios públicos que propone el Programa, cuyo ciclo se compone de las siguientes actividades: Planificar, que es el momento en que se elabora la Carta Compromiso del organismo, estableciendo los estándares de los servicios y los compromisos de mejora, sobre la base de atributos de calidad valorados por sus destinatarios. Hacer, que es el momento de producción y prestación de los servicios de acuerdo con los estándares y compromisos establecidos en la Carta. Verificar, a través de la medición y análisis permanente de los estándares y compromisos, para determinar los niveles de cumplimiento alcanzados. Actuar, que es la instancia periódica y anual que permite la retroalimentación a partir del análisis de los desvíos y de las expectativas de la ciudadanía, para realizar cambios, modificaciones y mejoras de corto y mediano plazo. Estas correcciones, a su vez, facilitan la siguiente planificación dentro del ciclo que se reinicia. Este ciclo de mejora continua que se representa en el cuadro N° 1 (Ciclo PDCA en Inglés: Plan, Do, Correct, Act) 2 fue desarrollado por Edward Deming, uno de los fundadores de los principios de la Administración de la Calidad.
2. Gráfico de la mejora continua, tomado del Plan de Calidad de la Universidad de Las Palmas, Gran Canaria. http://www.ulpgc.es
Carta Compromiso con el Ciudadano 15
Esta perspectiva de evaluación íntimamente asociada al ciclo de mejora continua de los servicios públicos, la convierte en una herramienta fundamental para la gestión de calidad, despojándola del sesgo punitivo con que ha sido utilizada social e históricamente. La serie de reflexiones internas que la evaluación del Programa desencadena en el organismo acerca de qué aspectos del servicio precisan nuevos esfuerzos en la producción y qué cuestiones funcionan adecuadamente están destinadas: a fortalecer las responsabilidades individuales y colectivas de los agentes sobre los resultados de la organización y a reforzar los mecanismos de reconocimiento de la tarea realizada y de motivación para la corrección de errores y desvíos. En ese sentido, la mirada puesta en la calidad de los servicios y productos que recibe la ciudadanía concentra la atención de la organización en los resultados desde la perspectiva del usuario, del beneficiario, del destinatario. Preguntas tales como ¿qué recibe el ciudadano como servicio? ¿Cómo es este servicio? ¿Responde a parámetros de calidad? ¿Se produce en cantidad suficiente? ¿Cuenta con la cobertura necesaria? ¿Es accesible al conjunto de la población destinataria? ¿Satisface sus expectativas y necesidades? constituyen las principales guías del diseño, ejecución y evaluación de los servicios en el marco de este Programa. La inclusión del sistema de evaluación en los organismos que desarrollan el Programa apunta, por ende, a: Establecer o fortalecer una cultura de Gestión por Resultados en la organización: La evaluación en el marco de una gestión orientada a resultados tiene un carácter permanente y sistemático, opera como un proceso de aprendizaje institucional y genera información relevante para la toma de decisiones de los distintos actores con la finalidad de mejorar la eficacia y efectividad de la gestión. En este sentido, constituye una base para orientar a los organismos y sus agentes en el desarrollo de sus actividades destinadas a incrementar la calidad de los servicios a través de los cuales se concretar las políticas y lograr una respuesta satisfactoria a las demandas de la sociedad. Poner en marcha los sistemas de información para el monitoreo y la
16 SISTEMA DE EVALUACIÓN
evaluación de los estándares comprometidos. Una vez que los niveles de desempeño de los servicios han sido comprometidos mediante la firma de la Carta Compromiso, el sistema de evaluación se activa a fin de producir la información necesaria que permita conocer paso a paso cuánto de lo planificado en la Carta se logra cumplir. Esto implica desarrollar los registros, instrumentos y procedimientos de medición que permitan conocer los resultados de la gestión y analizarlos, es decir, evaluarlos. Realizar el monitoreo y evaluación de los estándares y compromisos establecidos de manera sistemática, promoviendo su utilización para la mejora continua. El seguimiento constante de los resultados y sus desvíos, de cómo se están cumpliendo las metas de servicio planteadas, debe ser objeto de un análisis conjunto de la organización que permita discutir las causas del cumplimiento parcial o incumplimiento de estándares y compromisos, así como las posibles soluciones o estrategias para corregir y mejorar dichos resultados. La posibilidad de detectar las mejoras que deben realizarse a partir de la evaluación es fundamental en la estrategia de calidad que propone el Programa. Determinar el desarrollo alcanzado en cada uno de los componentes del Programa 3 y el nivel de cumplimiento de sus objetivos estratégicos. El análisis anual de este punto permite conocer la evolución del organismo sobre su receptividad a las demandas ciudadanas y el nivel de calidad logrado en los servicios, teniendo en cuenta los objetivos establecidos por el Programa. En tal sentido, constituye una guía para el establecimiento de la dirección y las prioridades que deben asumir paulatinamente los organismos con la finalidad de cumplir con la política fijada por el Poder Ejecutivo Nacional, que propone la construcción de una Administración Pública orientada a servir a los ciudadanos.
3. Para conocer detalladamente los objetivos del Programa y los componentes que se desarrollan para lograr su cumplimiento: Estándares de Calidad de los Servicios, Sistema de Información y Comunicación, Participación Ciudadana y Monitoreo y Evaluación, ver Halliburton, Eduardo “Programa Carta Compromiso con el Ciudadano - Marco Conceptual”. Editado por la Subsecretaría de la Gestión Pública. Jefatura de Gabinete de Ministros. Buenos Aires, Argentina. 2006.
Carta Compromiso con el Ciudadano 17
A medida que se avance en la descripción de la estructura y metodología que el Sistema de Evaluación propone, estos objetivos se irán operativizando de modo de comprender con mayor profundidad sus ventajas en el marco del Programa. PRINCIPIOS QUE GUÍAN LA EVALUACIÓN DEL PROGRAMA Una serie de principios guían el proceso de evaluación del Programa. Es importante explicitar los mismos para comprender posteriormente el sustento o base de la que parten los instrumentos y herramientas que se utilizan, así como para corroborar que estos guarden relación con los objetivos y el espíritu de la mejora continua que propone el Programa. Puesto que la evaluación forma parte del proceso de implementación y desarrollo del Programa en los organismos públicos, resulta importante que aquellos que la llevan adelante compartan criterios comunes, no sólo desde el punto de vista metodológico, sino también conceptual. En otras palabras, estos principios señalan las orientaciones con las que los responsables de la evaluación4 pueden valorar los resultados alcanzados, sobre la base de su conocimiento de la organización y de su saber profesional. • La evaluación es positiva Las mediciones del desempeño de los servicios pueden ayudar a los organismos a distinguir el buen funcionamiento y colaborar, a su vez, en la generación de indicios para encontrar soluciones, realizar mejoras, restructuraciones y correcciones, en aquellos aspectos plausibles de ser perfeccionados. Esta detección y análisis de errores no implican la búsqueda de culpables a sancionar, sino el conocimiento de las causas que los producen a fin de poder corregirlos. Se trata, entonces, de instalar en el conjunto del organismo la noción de que el sistema de evaluación se vincula a un método de aprendizaje orga4. Los actores que participan en los distintos momentos de la evaluación son descriptos más adelante dentro de este punto.
18 SISTEMA DE EVALUACIÓN
nizacional, transformándose en una herramienta de gestión que colabore con un mejor funcionamiento del organismo. • La evaluación es formativa Uno de los beneficios de la evaluación debe ser el aprendizaje que aporta a los actores involucrados. La evaluación puede generar una mayor comprensión del trabajo desarrollado junto con la capacidad para aprovechar oportunidades de innovación administrativa. Con esta perspectiva estratégica de la evaluación como aprendizaje, los conocimientos acumulados por los miembros de la organización se constituyen en uno de los acervos institucionales más valiosos. Por otra parte, si se favorece la participación de la ciudadanía en la evaluación de los programas públicos y se realiza bajo un enfoque plural que aliente a los diversos actores afectados por la política en cuestión a expresar sus opiniones, esas prácticas se traducirán seguramente en un importante instrumento de aprendizaje social. A su vez, para el organismo, la evaluación se convierte en estos casos en una ocasión formal para examinar y conocer la forma en la cual los programas de acción específicos son experimentados por las personas afectadas y para descubrir lo que éstas consideran que son los éxitos y las fallas de esos programas (Subirats, 1995). El Programa, en ese sentido, promueve con esta evaluación la posibilidad de aprender a partir de los éxitos y mejorar teniendo en cuenta los errores y el conocimiento de las expectativas y el nivel de satisfacción de los ciudadanos sobre el desempeño de los organismos. • La evaluación es participativa La evaluación que promueve el Programa Carta Compromiso apunta a lograr aceptación y legitimidad, tanto internas como externas, a través de la participación de los sujetos involucrados en el desarrollo del Programa:
a) El personal del organismo Cuando la medición y evaluación de los resultados de la gestión cuentan con la participación activa y el involucramiento directo de los miembros de la organización, los objetivos de la evaluación del Programa tienen mayores posibilidades de concretarse. Esto implica considerar a la evaluación como un proceso que se construye con los miembros de la organización. Un enfoque participativo y de colaboración en la medición y análisis de la gestión involucra necesariamente al personal del organismo porque se asume que de esta manera el Programa adquiere significado, genera sentido de pertenencia y da mayores chances de que los actores involucrados usen efectivamente los resultados (Taschereau, 1998). Por el contrario, una iniciativa de medición y evaluación impuesta por los niveles superiores o exclusivamente como un mandato externo, tiene menos posibilidades de arraigo en la estructura organizacional. El sistema de medición, monitoreo y evaluación se consolida y se vuelve sostenible cuando los niveles operativos y medios de la organización se perciben como protagonistas del Programa y en condiciones de ejercer una cuota de responsabilidad en sus resultados y en las correcciones a realizar. b) La Unidad Coordinadora del Programa de la Subsecretaría de la Gestión Pública Es importante destacar que, con la finalidad de que las Unidades de Monitoreo Internas 5 de los organismos puedan cumplir adecuadamente con sus objetivos, la Unidad Coordinadora del Programa de la Subsecretaría contribuye, mediante asistencias técnicas puntuales, al desarrollo de las metodologías destinadas a mejorar los sistemas de información, la formulación de indicadores, el desarrollo de los criterios para la evaluación de los resultados y el diseño de los sistemas de retroalimentación para la toma de decisiones. Asimismo, con su evaluación diagnóstica contribuye a
5. Las Unidades de Monitoreo Internas (UMI) pueden consistir en un equipo, grupo, unidad, comité, etc. que tiene a su cargo el proceso de análisis de las mediciones del nivel de cumplimento de los estándares. Debe establecerse qué área y/o sector poseerá la coordinación de la Unidad de Monitoreo y quiénes integrarán esa unidad en representación de los sectores con servicios o puntos de atención directos.
20 SISTEMA DE EVALUACIÓN
la elaboración de los informes trimestrales y a la evaluación final (anual) de sus resultados. En este marco, la participación de la Subsecretaría en la evaluación del Programa en los organismos tiene, en primer lugar, la finalidad de analizar, en forma conjunta con la Unidad de Monitoreo Interna del organismo, la información producida para la medición sobre la base de dos criterios esenciales: • Control de veracidad de la información: Para ello, se hacen muestreos especialmente seleccionados destinados a verificar la existencia de la información de base y corroborar la veracidad de la información. • Control de la información producida: Se trata del análisis de la consistencia de los datos y de una revisión de los criterios y herramientas metodológicas con que fueron construidos de manera de garantizar que la información generada sea válida y confiable. En segundo lugar, a partir de la información obtenida se elabora, en forma también consensuada, el informe trimestral que los organismos deben elevar a la Jefatura de Gabinete, en el que se incluyen, mediante la evaluación diagnóstica, las observaciones relacionadas con los problemas en la medición y se elaboran los pasos a seguir para corregir las desviaciones existentes. Asimismo, se detectan aspectos sustanciales a ser fortalecidos que se comunican a la alta dirección del organismo para el desarrollo de las mejoras necesarias que permitan alcanzar las metas previstas. Al término del período anual, se realiza de la misma forma el informe de avance (conforme a lo establecido en el Decreto 229/00) y la evaluación final, teniendo en cuenta la opinión y valoración realizada por la ciudadanía, del nivel de cumplimiento de los estándares y compromisos asumidos y del impacto logrado. Esta evaluación consensuada con los organismos y teniendo en cuenta la satisfacción de la ciudadanía con los servicios brindados, le permite a la Unidad Coordinadora del Programa realizar, a partir de criterios compartidos, la valoración final de los resultados y calificar el nivel alcanzaCarta Compromiso con el Ciudadano 21
do en el cumplimiento de los estándares de calidad y compromisos de mejora, la magnitud y significación de los desvíos existentes 6 y el nivel de desarrollo de cada uno de los componentes destinados a hacer realidad los objetivos establecidos por el Programa. c) La ciudadanía La participación de los ciudadanos en distintos aspectos y momentos del monitoreo y evaluación del desempeño del Programa en el organismo se vincula íntimamente con la cuestión de la efectividad y legitimidad de la acción gubernamental. Cuando los beneficiarios o usuarios son involucrados en la evaluación del servicio se obtiene como beneficio el enriquecimiento del proceso de mejora continua de la gestión con diversas perspectivas y un incremento de la credibilidad del organismo y del Programa. Para poder involucrar a los destinatarios de los servicios en el monitoreo de los estándares y la evaluación de los servicios, resulta indispensable desarrollar una estrategia que promueva y coordine su participación en aquellos lugares y momentos en donde sus opiniones y valoración produzcan aportes al desarrollo del servicio. Asimismo, debe contemplar ser lo más representativa posible de los distintos sectores sociales que componen su población objetivo, en particular, de los más desfavorecidos que en general no logran hacer oír su voz. En efecto, “la participación de todos los ciudadanos debe ser incentivada, desde los más pobres hasta los más graduados; desde aquellos que tienen problemas de salud hasta los más saludables, personas tímidas o extrovertidas, nuevos o viejos usuarios, los más informados y los que no están tan informados, de forma tal que la investigación resulte semejante a una elección” (Nassuno, 2001). La efectividad y legitimidad del sistema de evaluación se basa en buena medida en las oportunidades de participación que se brinda a usuarios y beneficiarios, al permitirles ex6. Esto es especialmente importante debido a la falta, en muchos casos, de parámetros claros (ausencias de series históricas, imposibilidad de realizar benchmarking, normas de calidad para determinados servicios, etc.) que permitan determinar la significación de esos desvíos (“nada”, “poco” o “muy significativos”, etc.).
22 SISTEMA DE EVALUACIÓN
presar qué es lo que esperan del servicio y cuál es su nivel de satisfacción sobre los resultados obtenidos: a través de los Sistemas de Quejas y Sugerencias, las encuestas de expectativas y de satisfacción, los grupos focales, las entrevistas en profundidad y otras modalidades de participación que promueve el Programa 7. • La evaluación incorpora diversas fuentes de información Así como es posible reconocer distintos participantes de la evaluación del Programa existe a su vez una diversidad de fuentes de información e instrumentos de registro y relevamiento de datos: controles internos, encuestas de satisfacción y expectativas realizadas a los ciudadanos en forma presencial, telefónica o virtual, quejas ingresadas en buzón o por correo electrónico, auditorías externas, etc. Esta diversidad de fuentes y métodos dota de una mayor riqueza a los análisis, permitiendo contrastar las distintas mediciones de la gestión con otros datos que incorporan opiniones, posiciones e intereses de los actores que participan en la evaluación del desempeño del organismo. La combinación o triangulación 8 de diversas fuentes de datos y de metodologías de relevamiento brinda mejores insumos para lograr una evaluación más ecuánime, relativizando algunos resultados –sean éstos escasos o abundantes- de los servicios y ponderando adecuadamente sus impactos en la población destinataria de los mismos. Por ejemplo, el Sistema de Quejas y Sugerencias que propone el Programa puede alertar rápidamente sobre los problemas que están percibiendo y experimentando los destinatarios respecto de algunos aspectos del servicio. Pero difícilmente puede constituirse en una fuente única para determinar y valorar los logros y resultados de la gestión. Asimismo, aquellos compromisos
7. Para una ampliación sobre las modalidades de participación ciudadana que promueve el Programa, ver Halliburton y otros. “Participación Ciudadana” INAP, Argentina, 2002. 8. La triangulación se define como la combinación de múltiples métodos en un estudio del mismo objeto o evento para abordar mejor el fenómeno que se investiga. La triangulación metodológica: sus principios, alcances y limitaciones, en: http://enfermeria.udea.edu.co/revista/mar2000/Triangulacion.html.
Carta Compromiso con el Ciudadano 23
relacionados con la confiabilidad de los procesos y procedimientos, requieren junto con el conocimiento de la satisfacción ciudadana sobre los servicios finales, exámenes y controles que auditen la calidad de dichos procesos que no siempre están al alcance ni a la vista directa de los destinatarios. Por otra parte, con el uso de información proveniente de distintas fuentes de relevamiento, el Programa intenta encontrar solución a algunas de las tensiones propias de una práctica de naturaleza técnica y política como la evaluación de Programas en el ámbito público. En ese sentido, el Sistema de Evaluación del Programa admite que las mediciones se realicen a través de indicadores y fuentes tanto de base cuantitativa como cualitativa y promueve que los resultados de la evaluación provengan tanto de los registros del control de gestión, de los desvíos y las justificaciones identificadas por el personal del organismo, y del análisis realizado por la Unidad Coordinadora del Programa, como de las percepciones y opiniones que provienen de usuarios y destinatarios de los servicios evaluados. • La evaluación tiene carácter progresivo, histórico y dinámico El Programa tiene en cuenta la situación de la que parten los organismos en el momento en que definen los estándares o metas que desarrollarán. Esta línea de base o capacidad operativa determina el establecimiento de los estándares de calidad y, correlativamente, la distancia entre los servicios que se brindan y las expectativas y necesidades de los ciudadanos; es decir, la distancia entre la calidad ofertada por los organismos y la calidad esperada por sus destinatarios. Este proceso, no obstante, va cambiando en el tiempo. Por ejemplo, a partir del incremento de las expectativas de los usuarios de los servicios como resultado de una mayor información sobre lo que el organismo puede y debe brindarles o de la mayor capacidad de los organismos como consecuencia de mejoras en los procesos, introducción de nuevas tecnologías de gestión, etc., que le permiten establecer estándares más desafiantes y cercanos a lo requerido por los ciudadanos. Es de esperar que bajo los efectos del Programa, la calidad de los servicios mejore en forma constante y
24 SISTEMA DE EVALUACIÓN
también lo hagan las expectativas ciudadanas, modificando en forma permanente la relación entre el organismo y la ciudadanía. La medición, el monitoreo y la evaluación necesariamente deben contar con registro de esa evolución del Programa en el organismo y de los cambios en la relación con la ciudadanía. La evaluación de los resultados de un período anual indica el nuevo nivel desde el cual partir, es decir, los compromisos que se asumirán en el período futuro, en una segunda o tercer Carta, adoptando una concepción progresiva de la mejora de la calidad de los servicios y de su relación con los destinatarios.
II. Estructura del Sistema de Evaluación
“Las dos principales tareas de la evaluación son la descripción y el juicio de un programa” (Robert Stake 1975).
¿CÓMO EVALUAR? EL MODELO DE EVALUACIÓN: ETAPAS Y TIPOS DE EVALUACIÓN La evaluación del Programa es un proceso que se inicia desde el momento en que la Carta Compromiso del organismo ha sido firmada. Este proceso se desarrolla a través de tres etapas diferenciadas: • Medición, que produce la información necesaria para conocer el cumplimiento periódico de los estándares de calidad de los servicios y sus compromisos de mejora. • Monitoreo, que permite el control sistemático de la información determinando la evolución del organismo respecto de los estándares y compromisos asumidos, identificando los desvíos del cumplimiento, sus justificaciones y necesidades de mejora. • Evaluación, que abre juicios respecto del grado de eficacia y efectividad de los resultados finales obtenidos por el organismo. 1. La
La primera etapa consiste en la realización de las mediciones que indican el valor que alcanza el desempeño periódico (mensual, bimestral, trimestral) de los servicios estandarizados en la Carta. Estos datos son los resul26 SISTEMA DE EVALUACIÓN
tados del servicio representados por los valores que asumen sus indicadores. De acuerdo con la frecuencia de medición de los estándares y compromisos de mejora los valores alcanzados son registrados en un Tablero de Control 9 informático proporcionado por el Programa. Los resultados de la medición de los indicadores pueden ser cuantitativos o cualitativos. Es importante señalar que las mediciones representan la base del proceso de evaluación del Programa. Para medir adecuadamente lo que el organismo se ha comprometido a cumplir en su Carta, es necesario que la información y las fuentes de donde surgen los datos cumplan con una serie de requisitos o condiciones de calidad (Ver Cuadro Nº 2):
VALIDEZ TIEMPO FACILIDAD Y ACCESIBILIDAD
CONTINUIDAD COMPRENSIÓN Y LEGITIMIDAD
COMPETENCIA PARA CADA FUNCIÓN
a) La validez de la información reside en su capacidad para captar, en forma correcta, consistente y clara, lo que se propone medir. Se puede asegurar la validez a través del desarrollo de casos piloto para su testeo.
9. El Tablero de Control es un programa informático que, a través de Internet, posibilita visualizar los contenidos de las Cartas Compromiso, realizar las mediciones del nivel de cumplimiento de los estándares y mejoras comprometidas y priorizar las áreas y procedimientos que requieren impulsar procesos de mejora. Los organismos incorporados al Programa acceden al mismo en el sitio: http://tc.sgp.gov.ar. Para mayor información ver documento: “El Tablero de Control del Programa Carta Compromiso con el Ciudadano”, editado por la Subsecretaría de la Gestión Pública, Jefatura de Gabinete de Ministros. 2006.
Carta Compromiso con el Ciudadano 27
b) La confiabilidad implica que los datos obtenidos deben reflejar en forma precisa y segura los niveles de desempeño alcanzados. c) El tiempo, facilidad y accesibilidad significan que la información debe estar al alcance de quienes la necesitan, puede ser obtenida sin mayores problemas y ser producida en el momento que efectivamente se requiere. d) La comprensión y legitimidad implican que el sistema de información sea entendido y aceptado por aquellos que deben operarlo y usarlo, tanto dentro como fuera de la organización. Es importante que todos aquellos que están incluidos en el mismo, participen y entiendan su importancia para el desarrollo de la gestión. e) La competencia para cada función, significa que el personal debe estar adecuadamente capacitado para producir, procesar y sistematizar la información necesaria para realizar las mediciones. f ) La continuidad significa que no sólo se debe desarrollar e implementar un sistema de información sino que es crítico mantenerlo vivo y en funcionamiento. Para ello, la información producida debe ser: ✔ ✔ ✔ ✔ utilizada, la base de las iniciativas de mejora, una herramienta clave para la gestión cotidiana, y evaluada en forma periódica.
2. El monitoreo
La segunda etapa del proceso evaluador es el monitoreo, que representa la instancia de control de los datos obtenidos sobre el cumplimiento de los estándares de calidad y compromisos de mejora. Implica una serie de pasos, sobre la base de las mediciones: • La sistematización de las mediciones. • La transformación de los datos en información sobre la gestión de los servicios.
28 SISTEMA DE EVALUACIÓN
• El análisis de esa información para determinar el nivel de cumplimiento y las causas de los desvíos. • La formulación de recomendaciones y estrategias para solucionar los problemas detectados. • La toma de decisiones en el corto plazo para corregir y mejorar el desempeño de los servicios. En tal sentido, los estándares y compromisos de mejoras establecidos en la Carta son monitoreados en forma sistemática, lo que permite contar con alertas acerca de eventuales problemas que se suscitan en su cumplimiento. En efecto, a partir de la información obtenida se elabora un informe trimestral y se realizan las observaciones relacionadas con los problemas existentes en la medición con la finalidad de establecer los pasos a seguir para corregir las desviaciones existentes. Todos aquellos aspectos sustanciales a ser considerados para el desarrollo de las mejoras necesarias que permitan alcanzar las metas previstas se comunican a la alta dirección del organismo. Es importante señalar que el monitoreo se realiza periódicamente y, de acuerdo con el Artículo 18 del Decreto 229/00, sus resultados deben ser informados a la Subsecretaría de Gestión Pública. Tanto las mediciones como el monitoreo componen un sistema que Wholey, (1983) denomina Control de Resultados (Performance monitoring) que consiste en “un acuerdo a nivel político y administrativo de los objetivos e indicadores que se consideran realistas y aceptables”. En el caso del Programa Carta Compromiso, se acuerda técnica y políticamente el nivel de desempeño que tendrán los servicios que prestan los organismos y se mide, tal como lo hemos señalado, su grado de cumplimiento, realizando una evaluación diagnóstica permanente de los estándares e indicadores. Al finalizar cada período, se establece el resultado anual de cada uno de los estándares y compromisos de mejora de los servicios, determinando de este modo el Nivel de Cumplimiento de la Carta.
La tercera etapa es la evaluación propiamente dicha que requiere de un análisis y valoración del conjunto de resultados obtenidos en el año, examinando tanto el desempeño de los servicios como el de la organización en el marco del Programa. • En el caso de los servicios, se analiza la importancia de los resultados de cada uno de los estándares y compromisos de mejora. Esta instancia es la Evaluación del Nivel de Cumplimiento que compara lo comprometido con lo efectivamente cumplido y examina la significación de los resultados alcanzados. En esta evaluación, que incluye a los tres primeros componentes del Programa (Estándares de Calidad, Sistema de información y Comunicación y Sistema de Participación Ciudadana), se realiza teniendo en cuenta las opiniones de la Unidad de Monitoreo Interna del organismo (UMI), de los consultores de la Unidad Coordinadora del Programa y, en forma especial, las respuestas de los ciudadanos a las encuestas realizadas y los resultados del análisis del sistema de quejas y sugerencias. • Finalmente, se analiza el grado en que el organismo ha logrado avanzar en el cumplimiento de los objetivos establecidos por el Programa. Esta es la Evaluación del Nivel de Desarrollo, la cual se realiza con los mismos actores que en el nivel de evaluación precedente. En este caso se evalúa, además de los tres componentes mencionados, la calidad de las mediciones y cómo el organismo ha hecho uso de las mismas para retroalimentarse, o sea, para introducir mejoras o tomar nuevas decisiones. Las evaluaciones del nivel de cumplimiento como del nivel de desarrollo (la metodología para llevarlas adelante se desarrolla en el siguiente capítulo), adoptan las características de la evaluación explicitadas en el estudio de Rossi & Freeman 10 y de Cheng 11 donde se parte de un patrón o modelo teórico o ideal de funcionamiento del programa frente al cual se valora el desempeño efectivo. En el caso de Carta Compromiso, este patrón ideal se presenta a través de:
10. “Theory-Driven evaluation” Rossi, P y Freeman, H.E. Evaluation: a sistematic approach. 5ª .H. edición. SAGE Publications, Inc. Thousand Oaks, California, 1993. Los autores defienden la necesidad de especificar modelos sobre cómo cabe esperar que funcione un programa antes de evaluarlo, a partir de su modelización.
30 SISTEMA DE EVALUACIÓN
✔ Una guía en la que se establecen las variables de análisis y preguntas que se deben tener en cuenta para valorar el nivel de cumplimiento de cada uno de los estándares y compromisos de mejora establecidos en la Carta. ✔ Una guía en la que se fijan las variables de análisis y preguntas que se deben tener en cuenta para valorar en que medida se están alcanzando los objetivos del Programa concretizados a través de cada uno de los componentes. El cuadro Nº 3 esquematiza las tres etapas del proceso de evaluación, sus tareas específicas y los principales responsables de llevarlas adelante:
Cuadro N° 3 - SISTEMA DE MEDICIÓN, MONITOREO Y EVALUACIÓN del PCCC
MEDICIÓN * Generar datos * Recuperar y producir información * Medir valores que asumen los indicadores CONTROL DE RESULTADOS * Sistematizar mediciones * Controlar la calidad de la información * Controlar la veracidad de la información * Detectar desvíos y recomendar mejoras
A CARGO DE LAS AREAS DEL ORGANISMO Y LA UNIDAD DE MONITOREO INTERNA (UMI)
* Analizar resultados obtenidos * Comparar lo obtenido con lo planificado * Analizar la satisfacción de los ciudadanos * Establecer conclusiones sobre eficacia y efectividad de las acciones y calidad de los servicios * Evaluar el desarrollo del Programa Carta Compromiso en sus 4 componentes
EVALUACIÓN DEL DESEMPEÑO Evaluación del Nivel de Cumplimiento Evaluación del Nivel de Desarrollo
A CARGO DE LA UMI, LOS CIUDADANOS Y LA UNIDAD COORDINADORA DEL PROGRAMA
INFORME FINAL DE EVALUACIÓN Y CALIFICACIÓN
A CARGO DE LA SUBSECRETARÍA DE LA GESTIÓN PÚBLICA JEFATURA DE GABINETE DE MINISTROS
11. Theory-Driven Evaluations, California: Sage Publications, 1990. Chen, Huey-Tsyh. “La evaluación fundamentada en teoría parte de la premisa de que todo programa social se basa en una teoría, un proceso intelectual, acerca de cómo y por qué funcionará. Esta teoría puede ser explícita o implícita. La clave para entender lo verdaderamente importante del programa es identificar esta teoría (Weiss, 1995). A este proceso se le conoce también como el desarrollar un modelo -o bosquejo- lógico del programa que describa el funcionamiento del programa. Los evaluadores y el personal pueden usar esta teoría acerca de la manera en que la iniciativa propiciará cambios para desarrollar logros intermedios claves (tanto para la población destinataria como para las agencias y organizaciones colaboradoras) que en última instancia llevará a logros a largo plazo. La documentación de estos logros intermedios (medidos tanto cuantitativa como cualitativamente) proporciona una variedad de oportunidades. Pone de manifiesto si una iniciativa está o no en curso. El seguimiento de logros a corto plazo disminuye en cierto grado la presión por demostrar los impactos a largo plazo dentro del primer o segundo año, o por carecer de algo que decir acerca de la iniciativa durante varios años. Permite al personal modificar la teoría e iniciativa en base a lo aprendido, incrementando así la capacidad de alcanzar los objetivos a largo plazo. Por último, permite al personal comprender y demostrar la eficacia de lo logrado (a múltiples partes interesadas) de una manera acorde con este tipo de iniciativa compleja”.
Carta Compromiso con el Ciudadano 31
¿QUÉ SE EVALÚA EN EL MARCO DEL PROGRAMA? EJES Y NIVELES DE LA EVALUACIÓN DEL PROGRAMA EN LOS ORGANISMOS. Tal como se mencionó con anterioridad, la evaluación es un proceso de verificación y valoración del desempeño alcanzado por los organismos respecto de lo que se han comprometido a cumplir en sus Cartas Compromiso y su desarrollo en relación con los objetivos establecidos por el Programa. En un nivel más general, el análisis del desempeño se refiere al objetivo central del Programa que es mejorar la relación de los organismos con la ciudadanía, incrementando su receptividad y la calidad de los servicios que prestan. Desde la doble perspectiva Administración-Ciudadanía, la evaluación atiende a los dos ejes sobre los que el Programa trabaja para mejorar la relación entre el Estado y la sociedad: El eje de la receptividad, entendida • Desde el punto de vista de la Administración, como la capacidad para dar respuesta a la evolución de las demandas y expectativas de los ciudadanos dentro de los límites que definen los poderes públicos” 12. Más concretamente, significa “tener en cuenta la capacidad de cada ciudadano para afrontar el proceso administrativo y facilitarle el acceso a las prestaciones que tiene derecho a esperar” . • Desde el punto de vista de los ciudadanos, la receptividad de la Administración implica que ésta: • Sea comprensible, que sea transparente, que se entienda y que su funcionamiento sea claro. Que se sepa cómo acceder a sus servicios, quienes son los responsables de la prestación de los mismos y cuáles son sus obligaciones y responsabilidades.
12. Para una descripción detallada de los conceptos de receptividad y calidad en los organismos de la administración pública, ver Halliburton, Eduardo y otros “Programa Carta Compromiso con el Ciudadano - Guía para su implementación”, Subsecretaría de la Gestión Pública, EUDEBA, Argentina, 2000.
32 SISTEMA DE EVALUACIÓN
• Responda a sus necesidades, tanto en el momento de diseñar sus políticas como en el momento de aplicarlas los ciudadanos exigen que se tengan en cuenta sus necesidades y requieren que, en la medida de lo posible, los servicios respondan a sus expectativas particulares. • Sea accesible, en el plano espacial (ubicación de las oficinas), temporal (horarios adaptados a los laborables), material (oficinas de atención que faciliten el diálogo, instalaciones para discapacitados, etc.) y cognoscitivo (instrucciones, formularios o comunicaciones comprensibles). • Fomente la participación activa, consultando a los ciudadanos y compartiendo responsabilidades con ellos, en los casos en que la Administración lo requiera para desempeñar adecuadamente sus funciones. El eje de la calidad, entendida: • Desde el punto de vista de la Administración: como la política pública transformada en servicios que respondan a las necesidades de sus destinatarios y de la población en general de un modo económico, eficiente, eficaz, efectivo, equitativo y justo. • Desde el punto de vista del Ciudadano: como el conjunto de propiedades y características de un producto o servicio público que le confieren su aptitud para satisfacer sus expectativas (lo que necesita y espera). En un nivel más concreto, la evaluación se centra en el análisis de los resultados obtenidos por el organismo, en relación con el cumplimiento de sus objetivos específicos: • Lograr en las organizaciones públicas una mayor sensibilidad hacia los ciudadanos y una mayor receptividad a sus demandas, orientando su desempeño en el marco de una administración por resultados. • Fortalecer la capacidad de los ciudadanos para ejercer su derecho a recibir servicios de calidad, es decir, acordes a sus necesidades y expectativas. • Normalizar el uso de estándares e indicadores de calidad de los servicios y de satisfacción de los ciudadanos y difundir los resultados obtenidos en la evaluación del desempeño institucional.
Carta Compromiso con el Ciudadano 33
• Facilitar la participación ciudadana en la elaboración de los programas destinados a implementar las políticas públicas, en la planificación, diseño y prestación de los servicios, en la evaluación de sus resultados y en el control social de las organizaciones públicas. • Generar condiciones para promover un proceso de mejora continua y la incorporación de innovaciones en las organizaciones públicas. Como hemos señalado, para el cumplimiento de estos objetivos el Programa se desarrolla a través de los cuatro componentes ya mencionados: Estándares de Calidad de los Servicios, Sistema de Información y Comunicación, Sistema de Participación Ciudadana y Monitoreo y Evaluación. De acuerdo con lo descripto en los párrafos anteriores, la evaluación que propone el Programa se centra en el análisis de los resultados obtenidos por el organismo teniendo en cuenta el cumplimiento de los estándares de calidad y compromisos de mejoras previamente definidos en su Carta y la medida en que éstos permiten ir alcanzando los objetivos específicos del Programa y lo que constituye su objetivo central: lograr una administración más receptiva y con mayor calidad en la prestación de sus servicios. Para llevar adelante esta evaluación, resulta necesario entonces definir en primera instancia cuáles son los resultados alcanzados, es decir, el Nivel de Cumplimiento de los estándares y mejoras comprometidos en las Cartas. Este nivel de cumplimiento se establece a partir de determinar numéricamente los resultados de los estándares y compromisos de mejora alcanzados en el año en relación con lo establecido o planificado en las Cartas. En el siguiente capítulo se describe la metodología a partir de la cual se establece este nivel de cumplimiento. Una vez conocidos los resultados alcanzados desde el punto de vista cuantitativo, el proceso de evaluación los analiza en dos niveles: ◆ La Evaluación del Nivel de Cumplimiento de los estándares y compromisos de mejora. ◆ La Evaluación del Nivel de Desarrollo del Programa en el organismo.
34 SISTEMA DE EVALUACIÓN
La Evaluación del Nivel de Cumplimiento examina los resultados anuales de cada uno de los estándares y compromisos del organismo a la luz de un conjunto de criterios, incorporando la percepción de los destinatarios del servicio dentro de dicho análisis. Con estas herramientas, el evaluador debe valorar la significación de los resultados de los servicios comprometidos, de los canales de comunicación y mecanismos de participación ciudadana utilizados en términos de eficacia y efectividad. Analizar la significación de los resultados implica valorar la medida en que el desempeño de un servicio es eficaz en tanto cumple con los objetivos y metas del propio servicio y efectivo en tanto satisface a sus destinatarios y genera los impactos esperados. (Para realizar este análisis es necesario tener en cuenta múltiples variables, que se encuentran operativizadas en la guía del Anexo I). Una de las principales fuentes de información para esta evaluación son los reportes que proporciona el Tablero de Control del Programa, que a lo largo del periodo considerado registra los resultados mensuales de cada estándar de calidad y compromiso de mejora, así como la justificación de sus desvíos. Esta información debe complementarse con otras fuentes de información como, por ejemplo, los procesamientos de las encuestas de expectativas y satisfacción de los usuarios de los servicios, los planes anuales de avance de Mejoras Comprometidas, los cuadros comparativos de Cartas anteriores, los informes de gestión o auditorías de las áreas y los servicios involucrados, así como los resultados del sistema de quejas y sugerencias. Por otro lado, la Evaluación del Nivel de Desarrollo examina los avances que el organismo ha realizado en torno de los objetivos del Programa a lo largo del período evaluado. En este caso, el examen es global y observa, ya no cada compromiso o estándar fijado en la Carta, sino cada uno de los componentes del Programa abriendo juicio sobre el grado en que el desempeño del organismo lo aproxima al cumplimiento de los objetivos establecidos. El Nivel de Desarrollo del Programa en el organismo implica valorar la calidad y la receptividad del organismo en su relación con la ciudadanía a la que sirve, a través de los logros alcanzados en los componentes Estándares de Calidad de
Carta Compromiso con el Ciudadano 35
los Servicios, Sistema de Información y Comunicación, Sistema de Participación Ciudadana y Monitoreo y Evaluación. Dicho de otro modo, se trata de determinar y abrir juicio respecto del punto en que el organismo evaluado alcanza, a través de sus componentes, los objetivos específicos antes descriptos. Las variables de análisis y preguntas establecidas para valorar los resultados (ver guía en anexo II) ayudan a discernir el desarrollo de cada componente en función de un ideal esperado. Determinar el nivel de desarrollo implica comparar lo que el organismo ha realizado hasta el momento en relación con el deber ser, con los objetivos establecidos por el Programa. Si bien, como señalamos anteriormente, en este proceso participan distintos actores, queda a cargo de la Subsecretaría de la Gestión Pública, a través de la Unidad de Coordinación del Programa, redactar el informe con la evaluación final. Este informe dará lugar a la calificación de los organismos adherentes al Programa por parte de Jefatura de Gabinete de Ministros. Las fuentes de información para el análisis y verificación del nivel de desarrollo son tantas como las que produce y utiliza la organización, elaboran los organismos de control y el Programa Carta Compromiso. Para enumerar sólo algunas: series históricas y/o estadísticas del desempeño del organismo, registro de observaciones periódicas de la atención al público, informes de gestión y auditoría, estudios cuali y cuantitativos de satisfacción de los usuarios, registro de mejoras no previstas, estudios o investigaciones especiales, registro de reuniones de monitoreo, planes estratégicos, proyectos específicos, etc.. La amplitud de la lente que implica la evaluación del nivel de desarrollo del Programa en el organismo hace pensar junto con Martinez Nogueira (2005) que esta evaluación se realiza “en una instancia de agregación referida al nivel de la organización como unidad y totalidad. Es entonces cuando se produce la intersección entre la evaluación de la organización y la evaluación de los programas de cambio”.
“La evaluación está concebida para ayudar, y no para estorbar, en la realización de un proyecto” Suchman (en Stufflebeam & Shinkfield: 1993)
¿CON QUÉ EVALUAR? CRITERIOS PARA LA VALORACIÓN DEL DESEMPEÑO Este capítulo se aboca a la descripción de la metodología e instrumentos desarrollados para llevar adelante la evaluación del nivel de cumplimiento de los estándares y compromisos de mejora, así como del nivel de desarrollo de los componentes del Programa en cada organismo. Dichas herramientas se sustentan en los principios y objetivos desarrollados en el primer capítulo y responden a la evolución que el propio Programa ha alcanzado en la Argentina. En la evaluación propuesta en los organismos intervienen diversos actores internos y externos que pueden utilizar las guías o planillas elaboradas con variables de análisis y preguntas, que contribuyen al estudio de los distintos aspectos a considerar en la valoración de los resultados de cada estándar, compromiso de mejora y componentes del Programa. Estos instrumentos de análisis apuntan, tal como señalamos anteriormente, a ayudar a los evaluadores que participan de esta etapa del proceso 13 a
13. En la etapa de evaluación propiamente dicha, los evaluadores son la UMI del organismo, la Unidad Coordinadora del Programa de la Subsecretaría de la Gestión Pública, quienes toman en consideración las opiniones y evaluaciones de los ciudadanos.
Carta Compromiso con el Ciudadano 37
examinar con conciencia el grado en que el desempeño del organismo revela o da cuenta de su grado de apropiación de los principios de calidad y de receptividad del Programa: en la forma y contenido con que diseña y presta sus servicios, los medios a través de los cuales escucha y se comunica con los destinatarios, los mecanismos con los que promueve que los ciudadanos participen de la gestión. Asimismo, se proponen ayudar al evaluador a discernir los niveles de avance, de evolución del organismo en el marco del Programa. No obstante, la metodología por si sola no reemplaza el necesario conocimiento de la organización que se pone en juego en esta instancia de análisis y reflexión de lo que el Programa significa para el organismo y de lo que los servicios representan para sus destinatarios. Guías e instrumentos constituyen entonces, herramientas al servicio de los evaluadores para lograr valoraciones que conjuguen la voz de los destinatarios de los servicios, el juicio de los miembros de la organización y el análisis de los asistentes técnicos de la Unidad de Coordinación del Programa. Para las evaluaciones del nivel de cumplimiento y el nivel de desarrollo se han elaborado las guías mencionadas. Las mismas se estructuran siguiendo la lógica de los elementos que contienen las Cartas Compromiso de los organismos (estándares y compromisos de mejora, canales de comunicación, modalidades de participación, sistema de quejas y monitoreo y evaluación, englobados en distintos componentes) señalando las variables de análisis a verificar para conocer el desarrollo e impacto alcanzados. De algún modo, las guías elaboradas se convierten en “guías de observación en terreno” (Sanin Angel, 1999) de lo que ha ocurrido con el Programa y la Carta en el organismo porque proponen una mirada más, una revisión de las acciones realizadas a lo largo del año, asegurando que se verifiquen aspectos esenciales con criterios unificados entre los distintos evaluadores y en las diferentes organizaciones públicas.
Atendiendo a la diversidad y heterogeneidad de los organismos que desarrollan Cartas Compromiso, las guías de evaluación contienen propuestas exhaustivas para el análisis de los logros y resultados de estándares y compromisos de mejora en los servicios. Asimismo, proponen examinar con un nivel de profundidad el alcance de los usos de las herramientas y tecnologías que promueve el Programa. Es por ello que, en cada caso, resulta necesario discernir qué aspectos del organismo son posibles de evaluar y sobre qué cuestiones aún no es posible hacerlo porque, por ejemplo, no existe ni la información ni el registro necesarios para el análisis y producirlos representaría un costo demasiado elevado para la organización o una dificultad operativa que afecte el desarrollo de la gestión. Dicho de otro modo, el evaluador debe poder determinar la importancia de las variables en cada situación particular y seleccionar aquellas que sean aplicables, delimitando cuál es el grado de profundidad al que puede someter sus análisis, teniendo en cuenta el avance alcanzado por la organización en el Programa, la naturaleza de los servicios que presta y las características de los destinatarios de sus servicios. A continuación, se describen los pasos para llevar adelante los niveles de evaluación del Programa en los organismos utilizando las guías:
PASO 1: DETERMINAR EL NIVEL DE CUMPLIMIENTO DE LOS ESTÁNDARES Y COMPROMISOS DE MEJORA
Como fue mencionado, al finalizar el periodo anual se debe establecer el nivel de cumplimiento logrado, es decir, los resultados en cada uno de los estándares y compromisos de mejora de los siguientes componentes del Programa: ✔ Estándares de Calidad de los Servicios Esenciales y del Punto de Contacto ✔ Sistema de Información y Comunicación ✔ Sistema de Participación Ciudadana
Carta Compromiso con el Ciudadano 39
La fuente de información de los resultados anuales la suministra el Tablero de Control (TC), que registra a lo largo del período todas las mediciones de cada estándar y compromiso de mejora de la Carta Compromiso. El TC admite la carga de diferentes formas de medición según los distintos tipos de estándares o compromisos que incluyen las Cartas: 1. Estándares con indicadores cuantitativos: Los resultados de la medición de servicios estandarizados con indicadores cuantitativos se expresan en valores numéricos. 2. Estándares con indicadores cualitativos: La medición de resultados de estos estándares no se expresa en un valor numérico, sino que puede consistir en un texto o párrafo que revela el grado de cumplimiento alcanzado sobre un compromiso. 3. Mejoras comprometidas: La medición del resultado de las mejoras comprometidas se realiza determinando el nivel de avance de las etapas en las que se ha previsto implementar la mejora. Cada uno de estos tipos de mediciones precisa de tratamientos diferenciados para determinar su nivel de cumplimiento anual a un valor numérico. Nivel de cumplimiento de estándares con indicadores cuantitativos: El Tablero de Control brinda la información de las mediciones de todo el período. Al cierre del período a evaluar, es necesario calcular el resultado anual promedio que determina el nivel de cumplimiento del estándar. ◆ Por ejemplo, el estándar de la capacidad de respuesta de un organismo: “tiempo en adjudicación de las solicitudes de plazas” registró en su TC todas las mediciones que se presentan en el cuadro Nº 4 (en página siguiente):
Estas mediciones numéricas mensuales son promediadas para obtener el nivel de cumplimiento del estándar:
NIVEL DE CUMPLIMIENTO (RESULTADO PROMEDIO ANUAL ENERO A DICIEMBRE 2005) 72,46%
Nivel de cumplimiento de estándares con indicadores cualitativos Dado que las Cartas Compromiso admiten estándares con medición a través de indicadores cualitativos (sistema ordinal, de presencia o ausencia de factores), resulta necesario traducir el resultado alcanzado a un valor numérico para poder establecer su nivel de cumplimiento. El procedimiento con el cual se miden estos indicadores puede ser la observación periódica, la realización de encuestas a los ciudadanos o la auditoría por muestreo a través de “check lists” de una serie de aspectos que el organismo garantiza a los destinatarios. Estos aspectos pueden ser cumplidos o no, estar presentes o no, haberse desarrollado en forma parcial o total al momento de la medición.
Carta Compromiso con el Ciudadano 41
A continuación se presenta un ejemplo del establecimiento del nivel de cumplimiento de un estándar con indicador cualitativo del componente Sistema de Información y Comunicación, y la traducción del resultado a un valor numérico: ◆“Se ponen a disposición del público instructivos que orienten en el llenado de formularios para la realización de denuncias o consultas (...). Garantizamos la actualización de los contenidos de los instructivos en atención a posibles modificaciones a la normativa vigente.” La medición mediante observación (mensual, trimestral) o auditoría periódica podrá observar si en las áreas de atención al público estos instructivos están disponibles y actualizados (Ver Cuadro Nº 5).
CUADRO Nº 5 INSTRUCTIVOS Fechas observación Accesibilidad Si (100%) 15 enero 20 marzo 15 mayo 18 julio 10 septiembre 6 noviembre RESULTADO ANUAL RESULTADO ANUAL PROMEDIO x x 83% 75% x 67% x x x x No (0%) Actualización Si (100%) x x x x x No (0%)
Otro ejemplo de nivel de cumplimiento de un estándar con indicador cualitativo puede ser el de la cartelera en el área de Atención al Público de un organismo que se comprometió a:
42 SISTEMA DE EVALUACIÓN
◆ “Garantizamos la accesibilidad de la información dispuesta en las carteleras a través de: la ubicación con buena visibilidad, precisión en los datos y diseño que facilite la lectura.” La planilla de observación para la verificación de los compromisos o metas sobre la cartelera debería poder indicar su nivel de cumplimiento periódico (trimestral en este caso) y anual (Ver Cuadro Nº 6):
Información de la cartelera Buena visibilidad SI MEDIA 67 a 34 a 100% 66% Horarios Requisitos para trámites Derechos del usuario Otros RESULTADO trimestre 1 RESULTADO trimestre 2 RESULTADO trimestre 3 RESULTADO trimestre 4 RESULTADO ANUAL PROMEDIO 63% 63% 63% 90% 69,75% 50% Accesibilidad: aspectos observados Precisión Diseño de datos fácil de leer NO 0a 33% SI 67 a 100% 100% MEDIA NO 34 a 0a 66% 33% SI 67 a 100% MEDIA NO 34 a 0a 66% 33% 60% 70% Medición promedio
Nivel de cumplimiento de mejoras comprometidas En el caso de las Mejoras Comprometidas, el nivel de cumplimiento resulta de establecer el porcentual final logrado en cada una de las etapas previstas. Cada mejora es desglosada en etapas o hitos de avance que deben ser regularmente medidos y registrados.
Carta Compromiso con el Ciudadano 43
El cuadro Nº 7 presenta un ejemplo de medición del avance y cumplimiento de las 5 etapas de realización de una mejora comprometida:
Objetivo de la mejora Registrar y destruir las armas decomisadas en policías y juzgados
% cumplimiento previsto por trimestres
% cumplimiento efectivo por trimestres
Se implementará el Registro Nacional de Armas Secuestradas y Decomisadas
1. Redacción de proyecto de reglamentación 2. Elevación a autoridad para su aprobación 3. Aprobación y dictado del Acto Administrativo de Presidencia 4. Implementación en el organismo 5. Funcionamiento operativo del Registro
Trimestre 1: 100%
Trimestre 2: 100% Trimestre 3: 50% Trimestre 4: 50%
Trimestre 2: 80% Trimestre 3: 20% Trimestre 3: 30% Trimestre 4: 70%
Trimestre 4: 100%
NIVEL DE CUMPLIMIENTO ANUAL DE LA MEJORA
En síntesis, de acuerdo con cada tipo de estándar de calidad (de medición cuantitativa o cualitativa) y compromiso de mejora del que se trate en el componente que corresponda, se deberá obtener como resultado de la medición un valor numérico promedio anual, tal como se presenta en el siguiente ejemplo (Cuadro N° 8):
SERVICIO ESTÁNDARES NIVEL DE CUMPLIMIENTO ANUAL 83,01% 64,13% 97,64% 100,00% 100,00%
Asesoramiento e información turística a turistas y público en general
01.01 Disponibilidad de información turística 01.02 Veracidad de la información turística. 01.03 Asesoramiento presencial en tiempo y forma. 01.04 Respuestas postales a consultas turísticas. 01.05 Consultas turísticas por correo electrónico.
Los porcentuales alcanzados en cada estándar y compromiso de mejora en forma anual representan el grado de eficacia logrado por el organismo respecto de lo planificado en su Carta. Estos valores constituyen, traducidos a una escala del 1 al 10, la primera calificación otorgada en el marco de la evaluación del Programa en el organismo (Cuadro Nº 9).
CUADRO Nº 9 DETERMINACIÓN DEL NIVEL DE CUMPLIMIENTO DE CADA ESTÁNDAR
ESTANDAR NIVEL DE CUMPLIMIENTO CALIFICACIÓN DEL NIVEL DE CUMPLIMIENTO (escala 1-10) 8.30 6.41 9.76 10.00 10.00 7.20
83.01% 64.13% 97.64% 100% 100% 72%
El producto de este paso es la determinación y calificación del nivel de cumplimiento anual promedio de cada uno de los resultados de los esCarta Compromiso con el Ciudadano 45
tándares de calidad y compromisos de mejora del organismo en los componentes del Programa: ◆ Estándares de Calidad de los Servicios Esenciales y del Punto de Contacto. ◆ Sistema de Información y Comunicación. ◆ Sistema de Participación Ciudadana.
PASO 2: EVALUAR EL NIVEL DE CUMPLIMIENTO DE ESTÁNDARES Y COMPROMISOS DE MEJORA DE LA CARTA.
Tal como se mencionó capítulos atrás, la evaluación del nivel de cumplimiento indaga sobre la importancia o significación que adquieren los resultados alcanzados en el período provenientes de la medición de los estándares de calidad y compromisos de mejora de los servicios que el organismo estableció en su Carta Compromiso. Esta evaluación se desarrolla en forma conjunta entre los responsables del Programa en el organismo (Responsable Político-Técnico, Facilitadores y miembros de la Unidad de Monitoreo Interna) y los asistentes técnicos del Programa. La evaluación del nivel de cumplimiento de los estándares y compromisos de mejora tiene lugar dentro de una trama de variables y situaciones particulares relacionadas con los objetivos y características de los distintos tipos de servicios que se prestan y que se dirigen a destinatarios muy diversos, con intereses y prioridades que requieren de decisiones políticas para garantizar respuestas equitativas y justas. Estas cuestiones, entre otras, complejizan la valoración del resultado explicitado en el nivel de cumplimiento. Pero incorporarlas a la evaluación de los resultados de la organización y la satisfacción que éstos alcanzan en sus destinatarios es un requisito importante para comprender mejor y valorar en forma más integral el desempeño de los estándares. La valoración en esta etapa requiere entonces, en el marco señalado, tener
46 SISTEMA DE EVALUACIÓN
en cuenta en cada caso particular la eficiencia en el uso de los recursos y, especialmente, la eficacia y efectividad en el cumplimiento de los objetivos que deben ser alcanzados. Puede ocurrir, para citar sólo dos ejemplos, que el bajo cumplimiento de un estándar no afecte críticamente el objetivo del servicio ni la satisfacción de sus destinatarios, en tanto que un buen cumplimiento de un estándar (eficacia: cumplimiento de la meta) puede haber sido alcanzado con un alto nivel de ineficiencia (uso inadecuado de los recursos) y muy bajo nivel de efectividad (satisfacción de los ciudadanos y logro del impacto buscado). Para tener en claro los dos casos señalados y otros tipos de situaciones posibles se desarrolla a continuación, a título de ejemplo, experiencias de trabajo relacionadas con las evaluaciones realizadas en el marco del Programa. ◆ Un organismo se comprometió a entregar los certificados de habilitación para producir determinado tipo de productos a las empresas solicitantes, dentro de los 120 días de presentada la documentación completa. El nivel de cumplimiento del tiempo de resolución del trámite alcanzó al 100% de los casos (“alto nivel de eficacia”). Ahora bien, el tiempo establecido es, por un lado, demasiado extenso teniendo en cuenta los recursos disponibles por el organismo (humanos, tecnológicos, financieros, etc.), es decir que el compromiso asumido implica un bajo nivel de desafío del organismo que se debe fundamentalmente a la falta de eficiencia en el proceso de trabajo 14. Esto, sin ninguna duda, debe ser un elemento negativo que deberá considerarse en la valoración del resultado del estándar. Pero, además, la encuesta de satisfacción que se realizó a los empresarios indica que el 75% de ellos tiene un alto nivel de insatisfacción con el tiempo establecido, aduciendo, con razones justificadas, que esta demora les genera graves perjuicios económicos. En este ejemplo es claro que estas circunstancias (bajo nivel de desafío del estándar como resultado de la falta de eficiencia en el proceso de producción del servicio y alto nivel de insatisfacción en sus destinatarios), más
14. Por falta de eficiencia se entienden entre otros indicadores: el inadecuado o inexistente diseño de procesos, la mala distribución de recursos humanos, las demoras en los pases de documentación entre áreas, etc.
Carta Compromiso con el Ciudadano 47
allá del cumplimiento de los tiempos establecidos por el estándar, incidirán en forma claramente negativa en la valoración final del resultado. ◆ Un organismo se comprometió a otorgar subsidios a las personas que presenten los requisitos establecidos por la ley (aproximadamente 400.000 personas), dentro de los 30 días de presentada la solicitud. Este estándar lo logra en 9 de cada 10 solicitudes presentadas (270.000 personas en total), que implica un nivel de cumplimiento del 90% en el tiempo de resolución comprometido para dar respuesta a la solicitud. No obstante, un 10% de los casos restantes (40.000 personas) que también lo requieren con suma urgencia, logra acceder al subsidio pero con demoras importantes: un 2% lo recibe entre los 30 y 60 días y un 8% entre los 90 y 120 días. Pero además, y esto es lo más importante, existe un 25% de la población con derecho al subsidio (otras 90.000 personas aproximadamente) que directamente no lo obtiene por razones de desconocimiento o dificultades derivadas de su situación de marginalidad, sin que el organismo, pese a disponer de los recursos para pagar los subsidios, impulse alguna acción para garantizar sus posibilidades de acceder a este derecho (campañas de información, articulación con los municipios para ubicar a los beneficiarios, etc.). Aún con buenos resultados para un gran número de casos en relación con el estándar establecido (tiempo de resolución del trámite) en este ejemplo, la evaluación del nivel de cumplimiento se verá seriamente afectada por la importancia y criticidad del desvío en relación con los objetivos establecidos por la norma, que deben ser cumplidos por el organismo. ◆ Un organismo se comprometió a atender al público con un tiempo máximo de espera de 10 minutos en la sala para iniciar el trámite. Este estándar es cumplido sólo para la mitad de las personas atendidas, lo que hace que el mismo tenga un nivel de cumplimiento del 50% (“bajo nivel de eficacia”: cumplimiento de la meta establecida). Sin embargo, este bajo nivel de cumplimiento no afecta seriamente el funcionamiento del organismo (no se producen colas importantes ni afecta los procesos
de atención del personal) y la satisfacción de los usuarios relevada mediante encuestas resulta muy satisfactoria (95% de respuestas positivas: Satisfechos y Muy Satisfechos) porque al 50% restante se lo atiende dentro de los 5 minutos posteriores (es decir, en un tiempo inferior a los 15 minutos) y se encuentra muy conforme en la medida que considera totalmente razonables los tiempos de espera para realizar el trámite. La evaluación del nivel de cumplimiento de este estándar, pese a tener un “bajo rendimiento”, no afecta el desempeño del punto de contacto y es muy satisfactoria para la ciudadanía, es decir, cumple sus expectativas, lo que naturalmente debe ser tenido en cuenta de manera decisiva en el momento de valorar el resultado obtenido. ◆ Un organismo se comprometió a producir una Guía de Trámites para brindar información a los usuarios sobre los requisitos y pasos que deben cumplir para la realización de los mismos. Dicha guía fue elaborada, publicada y distribuida en los centros de atención al público, por lo que de acuerdo a lo comprometido en el estándar el nivel de cumplimiento alcanzó el 100%. Sin embargo, la guía señalada tuvo los siguientes problemas: era poco clara en la descripción de los trámites -no resultaba comprensible para gran parte de los usuarios- y además, su edición fue muy limitada, alcanzando solo al 20% de los destinatarios, sin que existan además otros medios a través de los cuales se pueda acceder a esta información. Es natural entonces que en este ejemplo, el “alto nivel de cumplimiento” del estándar se vea afectado en su valoración final por los problemas señalados. ◆ Dos organismos se comprometieron a realizar en el año una encuesta destinada a conocer los niveles de satisfacción sobre los servicios brindados. Ambos organismos de acuerdo a lo explicitado en sus resultados cumplieron con el estándar, es decir, realizaron la encuesta con el objetivo señalado. Debido a la vaguedad o falta de precisión en la formulación del estándar ambos organismos lograron efectivamente un nivel de
Carta Compromiso con el Ciudadano 49
cumplimiento del 100%. Ahora bien, uno de ellos realizó la investigación mediante un estudio, implementado por una entidad especializada en este tipo de investigaciones, que abarcó los principales servicios e incluyó a los distintos tipos de usuarios de todo el país, mediante una muestra representativa (con un margen de error del 3%) y un cuestionario claramente formulado conforme a los objetivos establecidos en el diseño de la investigación. Asimismo, sus resultados fueron publicados a través de diversos medios (carteleras, sitio web, etc.) y fueron utilizadas, por parte de la Alta Dirección, para priorizar una serie de mejoras que actualmente se están llevando a cabo. El otro organismo, realizó una encuesta también sobre los principales servicios, pero el universo comprendido en la misma se limitó exclusivamente a las personas que llegaban a la sede central del organismo (no incorporó a otras sedes, ni a usuarios potenciales que por distintas razones no están accediendo actualmente al servicio) por lo que sus resultados, aunque traducen una tendencia sobre ciertos aspectos que resultan útiles para tener una primera aproximación a una serie de problemas, no pueden ser considerados representativos de la población objetivo del organismo. Si bien los resultados obtenidos también fueron publicados a través de varios medios, su utilización para la adopción de medidas por parte de las autoridades se vio muy limitada por la falta de certeza en lo que se refiere al alcance y representatividad de los mismos. La valoración final de estos dos casos, así como su calificación, deben ser naturalmente diferentes, no obstante, el idéntico “nivel de cumplimiento” alcanzado por ambos en el estándar establecido. Teniendo en cuenta la multiplicidad de factores que inciden en la valoración que debe realizarse de los resultados de los estándares y compromisos, es que se han elaborado las guías mencionadas con el objetivo de contribuir a orientar el trabajo de los evaluadores, mediante la especificación de variables de análisis y preguntas que ayudan a dilucidar: ◆ SERVICIOS ESENCIALES: La importancia o significación de los resultados de cada estándar de calidad y compromiso de mejora, analizando
50 SISTEMA DE EVALUACIÓN
cómo impactan los mismos, en el período considerado, en el cumplimiento de los objetivos del servicio y en la satisfacción de sus destinatarios. ◆ PUNTO DE CONTACTO: La importancia o significación de los resultados de cada estándar y compromiso de mejora, analizando cómo impactan los mismos, en el período considerado, en los objetivos de la atención al público del organismo y en la satisfacción de sus destinatarios. ◆ INFORMACIÓN Y COMUNICACIÓN: La importancia o significación de los resultados alcanzados para el cumplimiento de los objetivos establecidos para el canal de comunicación al que se refiere el estándar o compromiso de mejora y su impacto en los usuarios. ◆ PARTICIPACIÓN CIUDADANA: La importancia o significación de los resultados de los estándares o compromisos de mejora para el cumplimiento de los objetivos establecidos para cada modalidad de participación ciudadana (incluyendo el Sistema de Quejas y Sugerencias) y la efectividad alcanzada a través de la misma. A continuación se describe sucintamente los contenidos de las guías para el análisis del Nivel de Cumplimiento de cada estándar y compromiso de mejora de los tres Componentes del Programa evaluados en esta instancia: 1. Evaluar el nivel de cumplimiento de los estándares de calidad y compromisos de mejora del subcomponente Servicios Esenciales. Para evaluar el nivel de cumplimiento de los estándares y compromisos de mejora del Subcomponente Estándares de Calidad de los Servicios Esenciales, se establecen los aspectos a tener en cuenta para conocer la eficacia y efectividad de los resultados alcanzados. En tal sentido, se plantea la necesidad de analizar: El impacto del resultado alcanzado para el cumplimiento de los objetivos del servicio. El nivel de satisfacción de los ciudadanos con el resultado del estándar/compromiso.
Carta Compromiso con el Ciudadano 51
Para enriquecer el análisis sobre ambas cuestiones, se considera importante tener en cuenta: El nivel de desafío de los compromisos asumidos en relación con los recursos del organismo, la evolución histórica del servicio y las expectativas de los destinatarios. El análisis de los resultados de cada estándar de calidad de los Servicios Esenciales realizado a través de las variables y preguntas planteadas, debe ser valorado y calificado a través de un puntaje (escala del 1 al 10). Dicha calificación va a modificar la obtenida por los niveles de cumplimiento en este subcomponente.
CALIFICACIÓN OTORGADA A LA EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DEL ESTÁNDAR/ COMPROMISO: Malo 1-4 Regular 4-6 Bueno 6-7 Muy Bueno 7-9 Excelente 9-10
2. Evaluar el nivel de cumplimiento de los estándares de calidad y compromisos de mejora del subcomponente Punto de Contacto. Para evaluar el nivel de cumplimiento de los estándares y compromisos de mejora del Subcomponente Estándares de Calidad en el Punto de Contacto, se establecen los aspectos a tener en cuenta para conocer la eficacia y efectividad de los resultados alcanzados. En tal sentido, se plantea la necesidad de analizar:
ADECUACIÓN DE LAS CONDICIONES EDILICIAS: Esta variable per-
mite analizar el grado de receptividad a las necesidades y características de los ciudadanos que acuden al organismo, relacionado con la infraestructura física y el acondicionamiento de las instalaciones.
ACCESIBILIDAD: Esta variable permite analizar el grado de facilidad con que cuentan los ciudadanos para acceder a los servicios que se prestan en los puntos de contacto del organismo, tanto desde el punto de vista geográfico como material, espacial, cognoscitivo y temporal. VÍNCULO CON EL CIUDADANO: Esta variable permite analizar el grado de comunicación y el nivel de comprensión de las necesidades y requerimientos de los ciudadanos, así como la cortesía del personal que atiende público. CAPACIDAD DE RESPUESTA Y CONFIABILIDAD: Esta variable ayuda a analizar el grado de desarrollo de los compromisos relacionados con tiempos de espera en el salón y aseguramiento de procedimientos de recepción, información, derivación y atención al público homogéneos y equitativos. COMPETENCIA: Esta variable permite analizar la capacidad del personal que atiende al público para desarrollar su tarea. El estándar o compromiso cuyo resultado es evaluado puede referirse exclusivamente a una variable de análisis del punto de contacto, por ejemplo, el tiempo de espera en el salón. En esos casos, el análisis del resultado del estándar y su valoración estará circunscripto a la variable a la que se refiere. El análisis y valoración del conjunto de estándares incluidos en la Carta relacionados con las distintas variables del punto de contacto servirá de base para determinar su nivel de desarrollo, que se analiza en el próximo paso. El análisis de los resultados de cada estándar y compromiso de mejora del punto de contacto realizado a través de las variables planteadas, debe ser valorado y calificado a través de un puntaje (escala del 1 al 10). Dicha calificación va a modificar la obtenida por los niveles de cumplimiento en este subcomponente.
CALIFICACIÓN OTORGADA A LA EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DEL ESTANDAR/COMPROMISO: Malo 1-4 Regular 4-6 Bueno 6-7 Muy Bueno 7-9 Excelente 9-10
3. Evaluar el nivel de cumplimiento de los estándares y compromisos de mejora del componente Sistema de Información y Comunicación. Para contribuir a la evaluación del nivel de cumplimiento de los estándares y compromisos de mejora del componente Sistema de Información y Comunicación, se realizan preguntas clave sobre las distintas variables de análisis de cada canal de comunicación comprometido. Las mismas contribuyen a conocer la eficacia de los resultados de cada estándar/compromiso y su grado de efectividad. El estándar o compromiso cuyo resultado es evaluado puede referirse exclusivamente a una variable de análisis del canal de comunicación, por ejemplo, la accesibilidad de la página web o la capacidad de respuesta del 0-800. En esos casos, el análisis del resultado del estándar y su valoración estará circunscripto a la variable a la que se refiere. El análisis y valoración del conjunto de estándares incluidos en la Carta relacionados con un mismo canal, servirá de base para determinar su nivel de desarrollo, que se analiza en el próximo paso. En otros casos, el estándar o compromiso puede referirse al canal de comunicación en su conjunto. Por ejemplo, un organismo puede asumir el compromiso de elaborar folletos con información sobre los servicios que presta, la forma de acceder a los mismos y los requisitos para su obtención con el objetivo de ponerlos a disposición de los usuarios en las áreas de atención al público. En estos casos, el análisis del resultado del estándar para evaluar el nivel de cumplimiento deberá recorrer todas las variables descriptas para el canal, por lo cual determinará también su nivel de desarrollo que, como señalamos, se analiza más adelante.
54 SISTEMA DE EVALUACIÓN
Entre los canales de información y comunicación utilizados por los organismos del Programa, se encuentran: • Carteleras en las áreas de atención al público que brindan información sobre los servicios, tarifas, aranceles, normativa vigente. • Señalización del edificio para orientar a los ciudadanos. • Material gráfico como folletos y afiches que comunican los derechos y obligaciones de los ciudadanos, explican los servicios brindados y orientan sobre procedimientos de realización de trámites, direcciones de centros de atención, horarios y formas de contactarse con el organismo. • Boletines, gráficos y/o electrónicos, con información, avisos y novedades del organismo. • Líneas telefónicas o servicios 0-800 gratuitos que brindan información y responden consultas sobre los servicios y las sedes del organismo. • Sitios oficiales en Internet (páginas web) con distinto tipo de información y acceso al sistema de quejas y sugerencias. • Comunicados de prensa, solicitadas, anuncios publicitarios, artículos, reportajes, conferencias de prensa, con uso de medios masivos de comunicación (televisión, radio, diarios, revistas) y en la vía pública. • Dossiers informativos, informes de gestión y estudios de opinión sobre el organismo y sus resultados. El análisis del resultado de cada estándar/compromiso, a través de las variables y preguntas correspondientes a cada canal de comunicación implementado por el organismo debe ser valorado y calificado mediante un puntaje (escala del 1 al 10). Dicha calificación va a modificar la obtenida por los niveles de cumplimiento alcanzados por los estándares y compromisos de mejora en este componente.
CALIFICACIÓN OTORGADA A LA EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DEL ESTANDAR/ COMPROMISO: Malo 1-4 Regular 4-6 Bueno 6-7 Muy Bueno 7-9 Excelente 9-10
4. Evaluar el nivel de cumplimiento de los estándares y compromisos de mejora del componente Sistema de Participación Ciudadana. Para contribuir a la evaluación del nivel de cumplimiento de los estándares y compromisos de mejora de este componente también se realizan preguntas clave sobre las diversas variables de análisis de cada modalidad comprometida. Estas preguntas examinan, además de la eficacia de los resultados del estándar/compromiso en la modalidad, su grado de efectividad. Entre las modalidades de participación utilizadas por los organismos del Programa, se encuentran: • La encuesta de expectativas de los usuarios actuales y potenciales de los servicios. • La encuesta de satisfacción de los destinatarios de los servicios, a través de encuestadores o en forma autoadministrada. • Los estudios cualitativos, a través del desarrollo de entrevistas en profundidad y/o grupos focales que relevan percepciones sobre servicios o aspectos del servicio. • Los foros, jornadas y talleres a ciudadanos y/u organizaciones de la sociedad civil sobre cuestiones relacionadas con las políticas, temas vinculados con la gestión, los servicios desarrollados por el organismo y sus prioridades. • Las Audiencias Públicas, que ponen a consideración y discusión algún tema en particular relacionado con la gestión del organismo.
56 SISTEMA DE EVALUACIÓN
• Los Consejos Consultivos o Consejos de Asesores, que sesionan en forma periódica para el tratamiento de alguna problemática y/o para la producción de documentos que apoyen la gestión del organismo. De la misma manera que en los otros componentes, el análisis del resultado de cada estándar/compromiso, a través de las variables y preguntas correspondientes a la modalidad de participación implementada por el organismo debe ser valorado y calificado mediante un puntaje (escala del 1 al 10). Dicha calificación va a modificar los niveles de cumplimiento alcanzados por los estándares y compromisos de mejora en este componente.
Fuentes de información para la evaluación del nivel de cumplimiento Gran parte de la información necesaria para realizar la evaluación del nivel de cumplimiento de estándares y compromisos de mejora se encuentra registrada en el Tablero de Control del Programa en el organismo. Otras fuentes importantes de información que permiten profundizar las apreciaciones sobre el nivel de cumplimiento de los estándares y compromisos de mejora son: • Informes de gestión, auditorías, registros históricos, quejas, reclamos, sugerencias y consultas (encuestas, entrevistas, grupos focales, audiencias públicas, foros consultivos) que refieran a las expectativas y la satisfacción ciudadana sobre los servicios esenciales y el punto de contacto. • Registros de observación directa del organismo y/o de los asistentes técnicos de la Unidad de Coordinación del Programa, controles de gestión sobre aspectos desarrollados en el punto de contacto.
Carta Compromiso con el Ciudadano 57
• Registros e información técnica existente sobre el diseño, funcionamiento y estadísticas de gestión de cada canal de comunicación. • Registros e información técnica existentes del diseño, implementación, resultados, difusión y retroalimentación de cada modalidad de participación ciudadana. • Información de cumplimiento de estándares, aspectos técnicos, resultados de su implementación y retroalimentación del sistema de quejas, reclamos, sugerencias por cada una de las modalidades (buzón, libro, email, web, telefónico). Evaluar el nivel de cumplimiento de los componentes del Programa Una vez que se ha evaluado el nivel de cumplimiento de todos los estándares y compromisos de mejora, se realiza un cálculo promedio de los resultados numéricos alcanzados para determinar el nivel de cumplimiento de cada componente. El Cuadro Nº 10 muestra cómo se calcula la calificación global del componente sobre la base de cada uno de los estándares
CUADRO Nº 10 - CALIFICACIÓN DE CADA ESTANDAR Y DEL COMPONENTE
ESTANDAR NIVEL DE CUMPLIMIENTO CALIFIEVALUACIÓN CALIFICACIÓN DEL NIVEL DE CACIÓN DEL DEL NIVEL DE CUMPLIMIENTO ESTANDAR CUMPLI(CALIFICACIÓN) (PROMEDIO MIENTO (1) (2) 1 + 2) CALIFICACIÓN DEL DESEMPEÑO DEL COMPONENTE
83,01% 64,13% 97,64% 100% 100% 72%
8,30 6,41 9,76 10,00 10,00 7,20
8,00 9,00 6,50 6,00 7,25 8,00
8,15 7,70 9,25 8,13 8,63 7,60
Los productos de este paso son: ◆ La evaluación y calificación del nivel de cumplimiento de cada uno de los estándares de calidad y compromisos de mejora del organismo en tres componentes del Programa. ◆ La evaluación y calificación del resultado global de cada componente y subcomponente de la Carta del organismo.
PASO 3: EVALUAR EL NIVEL DE DESARROLLO DEL PROGRAMA EN EL ORGANISMO
El capítulo anterior anticipaba que la evaluación del nivel de desarrollo tiene como propósito determinar y valorar los avances del organismo sobre los objetivos del Programa Carta Compromiso. Es decir, se trata de dar cuenta en esta instancia de la forma en que el organismo se acerca al máximo desarrollo posible de cada uno de los componentes y, a través de ellos, al cumplimiento de los objetivos del Programa. Dicho de otro modo, se trata de determinar y abrir juicio sobre la manera en que el organismo a través del desarrollo de sus componentes alcanza los siguientes objetivos: 1) Lograr mayor sensibilidad hacia los ciudadanos y mayor receptividad a sus demandas orientando su desempeño en el marco de una administración por resultados. ◆ Se trata, por ejemplo, de determinar en cada organismo, entre otros aspectos, si se utilizaron modalidades de consulta (encuestas, consejos asesores u otras) para conocer los atributos de calidad más valorados por el ciudadano y diseñar y producir los servicios teniendo en cuenta dicha información. 2) Fortalecer la capacidad de los ciudadanos para ejercer sus derechos a recibir servicios de calidad, acordes a necesidades y expectativas.
Carta Compromiso con el Ciudadano 59
◆ Se debe analizar, por ejemplo, en qué medida se ha facilitado información acerca de los derechos que le asisten a los ciudadanos en relación con los servicios que brinda el organismo, sobre las modalidades de acceso para facilitarles su obtención y la forma en que son prestados. 3) Normalizar el uso de estándares e indicadores de calidad de los servicios y de satisfacción de los ciudadanos, y difundir los resultados obtenidos en la evaluación de desempeño institucional. ◆ Se debe determinar, por ejemplo, con qué alcance se han establecido los estándares de calidad e indicadores, si corresponden a los servicios prioritarios para los destinatarios, si los mismos son difundidos a fin de que los ciudadanos puedan exigir su cumplimiento, evaluar sus resultados y conocer el desempeño global del organismo. 4) Facilitar la participación ciudadana en la elaboración de los programas destinados a implementar las políticas públicas, en la planificación, diseño y prestación de los servicios, en la evaluación de sus resultados y en el control social de las organizaciones públicas. ◆ Se debe analizar, por ejemplo, si las modalidades de participación han permitido brindar su opinión a la mayoría de los destinatarios sobre aspectos clave de los servicios, si los mismos fueron consultados en forma sistemática y sobre temas relevantes, si se ha utilizado los resultados de la consulta para la toma de decisiones por parte de las autoridades. 5 ) Generar condiciones para promover un proceso de mejora continua en los organismos públicos. ◆ Se trata de determinar, por ejemplo, el grado en que el monitoreo y la evaluación constituyen una herramienta de gestión y sus resultados son utilizados, a través de los procesos de retroalimentación, para corregir errores en el uso de los recursos, optimizar procesos y generar mejores servicios.
Para evaluar el nivel de desarrollo es preciso examinar, entonces, el estado de situación de los componentes y valorar la medida en que los resultados e iniciativas en cada uno de ellos han consolidado los objetivos del Programa. Este estado de desarrollo del organismo en relación con el Programa debe analizar información de todas las acciones que estén relacionadas con los componentes del Programa, más allá de su formalización en la Carta, es decir, más allá de su estandarización o asunción de compromisos en la Carta suscripta. Por ello, se incluyen dentro de este análisis también todas las “Mejoras no previstas”15 realizadas en el período, que originalmente no fueran anticipadas en la Carta, estén registradas o no en el Tablero de Control, así como otros resultados no previstos16 y compromisos no explicitados. Para contribuir a esta evaluación se ha desarrollado, como ya se señaló, la Guía para la Evaluación de Nivel de Desarrollo (Anexo 2) que consta de variables de análisis y preguntas que contribuyen a conocer cuál es la evolución alcanzada por cada uno de los componentes y, en tal sentido, de qué manera están cumpliendo los objetivos específicos y el objetivo central del Programa. Los componentes que se analizan en esta evaluación son: Componente Estándares de Calidad de los Servicios - Subcomponente Estándares de Calidad de los Servicios Esenciales - Subcomponente Estándares de Calidad en el Punto de Contacto Componente Sistema de Información y Comunicación Componente Sistema de Participación Ciudadana Componente Monitoreo y Evaluación.
15. Por “Mejoras no previstas” se entiende a las mejoras implementadas en el marco del Programa durante el período, que no fueron incluidas en el documento de la Carta Compromiso, ni como estándares, ni como mejoras comprometidas. 16. Por “Resultados no previstos” se entiende a los que surgen, por ejemplo, de la realización de estudios y consultas con los destinatarios sobre servicios o aspectos del servicio no originalmente estandarizados en la Carta y que aportan información sustantiva sobre su satisfacción.
Carta Compromiso con el Ciudadano 61
El nivel óptimo de desarrollo (el deber ser) de cada componente del Programa es el patrón o marco de referencia contra el cual se compara el estado de desarrollo alcanzado. Este patrón se construye mediante las variables antes mencionadas, traducidos a preguntas que se encuentran en la Guía. La evaluación requiere contestar estas preguntas sobre la base del conocimiento del organismo acumulado en la etapa de elaboración de la Carta y del monitoreo, en las asistencias técnicas brindadas en el período, teniendo en consideración los resultados obtenidos en el nivel de cumplimiento y su evaluación y el contexto político-institucional en que tiene lugar este proceso. La evaluación del nivel de desarrollo es realizada por la Unidad de Coordinación del Programa de la Subsecretaría de la Gestión Pública, teniendo en cuenta para todos los aspectos las opiniones de los interlocutores internos de los organismos (Responsable Político-Técnico, Facilitadores y miembros de la Unidad de Monitoreo Interna) y, especialmente, las evaluaciones realizadas por la ciudadanía, a fin de contar con la mayor cantidad de información y con distintas perspectivas respecto del grado de evolución del Programa en el organismo. Las variables para determinar el nivel de desarrollo alcanzado por el organismo en los distintos componentes son centralmente los siguientes:
• Subcomponente Estándares de Calidad de los Servicios Esenciales
ABARCATIVIDAD: Esta variable permite analizar si la mayor cantidad de servicios centrales para el cumplimiento de la misión y objetivos de la organización y aquellos servicios considerados prioritarios por la ciudadanía ha sido objeto de estandarización o generación de compromisos por parte del organismo en su Carta. INTEGRALIDAD DE LOS ATRIBUTOS: Esta variable permite identificar si el conjunto de estándares y compromisos de mejora del subcomponente están referidos a los atributos más importantes o más valorados por los destinatarios de los servicios.
62 SISTEMA DE EVALUACIÓN
UNIVERSALIDAD: Esta variable permite analizar el grado de alcance/ cobertura de los servicios prestados en la población destinataria, de acuerdo con los objetivos establecidos para ser cumplidos por el organismo. SATISFACCIÓN CIUDADANA: Esta variable permite analizar el grado de satisfacción global de los ciudadanos respecto de los resultados alcanzados por los servicios brindados por el organismo.
• Subcomponente Estándares de Calidad en el Punto de Contacto
ABARCATIVIDAD: Esta variable permite analizar si la mayor cantidad de los aspectos principales de la atención al público ha sido objeto de estandarización o generación de compromisos por parte del organismo en su Carta. INTEGRALIDAD DE LOS ATRIBUTOS: Esta variable permite identificar si el conjunto de estándares y compromisos de mejora del subcomponente están referidos a los atributos más importantes o más valorados por los destinatarios de la atención al público. SATISFACCIÓN CIUDADANA: Esta variable permite analizar el grado de satisfacción global de los ciudadanos respecto de los resultados de los distintos aspectos de la atención al público.
• Sistema de Información y Comunicación y Participación Ciudadana
En lo que concierne al nivel de desarrollo de los componentes Sistema de Información y Comunicación y Participación Ciudadana, la guía contribuye a observar: LA ESTRATEGIA / ENFOQUE. Esta variable permite analizar si: Los dispositivos implementados responden a un Plan o proceso planificado de Comunicación y/o Participación Ciudadana. Son reconocidos todos los “destinatarios clave” y/o los “participantes clave”, reales y potenciales, a quienes dirigir la información e incorporar a las distintas modalidades de participación que debe desarrollar el organismo.
Carta Compromiso con el Ciudadano 63
Se alcanza a estos destinatarios y participantes clave a través de los distintos canales de comunicación, modalidades de participación y los Sistemas de Quejas y Sugerencias desarrollados por el organismo o existe un plan para alcanzarlos en el corto y mediano plazo. El conjunto de canales de comunicación, modalidades de participación y los Sistemas de Quejas y Sugerencias implementados y desarrollados por el organismo en el período representaron un avance organizacional, un salto cualitativo de la calidad de la comunicación externa y de los espacios de participación ciudadana. La comunicación y la participación desarrolladas por el organismo se acercan a las expectativas, necesidades y demandas de la ciudadanía. EL REGISTRO / REVISIÓN / INSTITUCIONALIZACIÓN: Esta variable contribuye a relevar el grado de formalización existente y el registro de acciones que permite revisar y determinar el nivel de institucionalización de los procesos y de un equipo de gestión de los canales de comunicación y modalidades de participación ciudadana, incluyendo el Sistema de Quejas y Sugerencias. LA EVALUACIÓN / RETROALIMENTACIÓN / MEJORA: Esta variable ayuda a examinar las instancias de evaluación, corrección y mejora de procesos inherentes al conjunto de canales de comunicación y modalidades de consulta y participación ciudadana, y su Sistema de Quejas y Sugerencias. LA DIFUSIÓN / PUBLICIDAD: Esta variable ayuda a indagar el grado de publicidad que tiene el conjunto de canales de comunicación y herramientas de consulta y participación ciudadana y el Sistema de Quejas y Sugerencias y si se dieron a conocer los resultados de gestión, consulta y participación ciudadana a través de diversos canales de información.
Por otra parte, la evaluación del nivel de desarrollo se completa con el exa64 SISTEMA DE EVALUACIÓN
men del componente Monitoreo y Evaluación, a través de las siguientes variables de análisis relacionados con su funcionamiento: • Nivel de apoyo de la alta dirección a la UMI. • Creación formal de la UMI, con representación de las áreas relevantes. • Existencia de una diversidad de responsables de las mediciones. • Existencia de Registros formalizados. • Actualización de las mediciones. • Incorporación de las optimizaciones realizadas en la Carta Compromiso al Tablero de Control. • Frecuencia/periodicidad de las evaluaciones diagnósticas de los resultados de las mediciones. • Difusión interna y externa de las mediciones. • Utilización de la información del monitoreo y la evaluación para la toma de decisiones de las autoridades y la implementación de mejoras. Una vez que se ha evaluado el nivel de desarrollo de cada uno de los componentes del Programa en el organismo, los análisis deben ser traducidos a una calificación numérica en una escala del 1 al 10.
CALIFICACIÓN OTORGADA A LA EVALUACIÓN DEL NIVEL DE DESARROLLO DEL COMPONENTE: Malo 1-4 Regular 4-6 Bueno 6-7 Muy Bueno 7-9 Excelente 9-10
Dicha calificación va a modificar la obtenida en los Resultados de la Evaluación del nivel de cumplimiento de los componentes.
Carta Compromiso con el Ciudadano 65
La calificación final del nivel de desarrollo del organismo es otorgada por la Subsecretaría de la Gestión Pública sobre la base de las calificaciones alcanzadas en cada uno de los pasos, atendiendo a aspectos que hacen a la visión integral tanto del organismo y su contexto. En tal sentido, deberá tener en cuenta, además de las variables de análisis y preguntas de la guía, los siguientes aspectos que deben ser parte de la valoración realizada: • La antigüedad del organismo en el Programa y la cantidad de cartas desarrolladas. • Los recursos que tiene disponibles para el cumplimiento de los servicios. • Las prioridades establecidas por las autoridades en función de los recursos existentes. • El tamaño del organismo y la complejidad y cobertura de los servicios. • La importancia relativa del componente según el tipo de organismo de que se trate (masiva concurrencia de público en el punto de contacto, poca concurrencia de público, importancia de los distintos canales de información y comunicación y de las modalidades de participación conforme a los objetivos de los servicios del organismo y las características de sus destinatarios, etc.) 17 El Cuadro Nº 11 muestra cómo puede ser calculada la calificación del nivel de desarrollo de un componente sobre la base de los resultados alcanzados en el nivel de evaluación anterior.
17. El hecho de poder ponderar con un peso diferente cada componente se basa en que no en todos los casos, con excepción de los servicios esenciales, tienen necesariamente la misma importancia. Dicho de otro modo, no “valen” lo mismo o aportan de igual modo a los resultados globales. Ello es así, por las características singulares de los servicios que se brindan en cada organismo y la especificidad de sus destinatarios, por la distinta importancia de los puntos de contacto y, también, por la relevancia que tienen, según los casos, los diversos canales de comunicación y modalidades de participación ciudadana.
66 SISTEMA DE EVALUACIÓN
CUADRO Nº 11 - CALIFICACIÓN DEL NIVEL DE DESARROLLO DEL COMPONENTE
CALIFICACIÓN DEL DESEMPEÑO DEL COMPONENTE (1) NIVEL DE DESARROLLO DEL COMPONENTE (CALIFICACIÓN) (2) CALIFICACIÓN FINAL DEL COMPONENTE (PROMEDIO 1+2) CALIFICACIÓN FINAL DEL ORGANISMO
Componente Estándares de Calidad de los Servicios: Subcomponente Servicios Esenciales
Componente Estándares de Calidad de los Servicios: Subcomponente Punto de Contacto
En el cuadro Nº 12 (en página siguiente), se aborda un caso en el que se considera necesario asignar un valor o peso relativo diferente a los distintos componentes, por causa de la magnitud de público que asiste en forma presencial a las distintas sedes del organismo y por la cantidad de destinatarios que utilizan los canales de información y comunicación.
Carta Compromiso con el Ciudadano 67
CUADRO Nº 12 CALIFICACIÓN DEL NIVEL DE DESARROLLO DEL COMPONENTE (con peso relativo por componente)
CALIFICACIÓN DEL DESEMPEÑO DEL COMPONENTE (1)
NIVEL DE DESARROLLO DEL COMPONENTE (CALIFICACIÓN) (2)
CALIFICACIÓN FINAL DEL COMPONENTE (PROMEDIO 1+2)
PESO RELATIVO COMPONENTE (escala 1-10)
CALIFICACIÓN FINAL DEL ORGANISMO
3 (7.62 x 0.3 = 2.28)
2.50 (6.83 x 0.25 = 1.71)
1.75 (9.20 x 0.175 = 1.61)
1.25 (8 x 0.125 = 1)
1.50 (8.45 x 1.27 = 1.27)
Fuentes de información para la evaluación del nivel de desarrollo Entre las fuentes de información con las que cuenta el evaluador para el análisis del nivel de desarrollo, se encuentran: • Las políticas y prioridades establecidas para el organismo. • El Mapa actualizado de servicios esenciales. • Resultados obtenidos en la evaluación del nivel de cumplimiento de los servicos esenciales y del punto de contacto. • Los comparativos de cartas anteriores. Series históricas. • El relevamiento de problemas que obstaculizan el cumplimiento de los objetivos. • El registro de Mejoras No Comprometidas. • El relevamiento de Mejores Prácticas. • Los informes trimestrales y anuales de avance (Dto. 229). • Las observaciones directas en el punto de contacto. • Registro de planes de y proyectos y resultados del proceso de comunicación y participación ciudadana. • Resultados de estudios cuantitativos y cualitativos de expectativas y satisfacción sobre distintos segmentos de población y destinatarios del organismo. • Presentaciones de quejas, reclamos, sugerencias y felicitaciones de los usuarios. El producto de este último paso es: La evaluación y calificación del nivel de desarrollo de cada uno de los componentes del Programa en el organismo evaluado. La evaluación y calificación final del organismo.
Ballart, Xavier. “Modelo Teóricos para la práctica de la evaluación de programas”. En Brugué Q. y Subirats, J. Lecturas de Gestión Pública. MAP, Madrid, 1996. Ballart, Xavier. “¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso”. Ministerio para las Administraciones Públicas, MAP, Madrid 1992. Chelimsky, Eleanor. “Program evaluation : Patterns and directions”. American Society for Public Administration. Washington D.C. 1985. Citado en Promouvoir l’évaluation de programme. PUMA/ PAC. 1997. Chen, Huey-tsyh, “Theory-Driven Evaluations”. California: Sage Publications, 1990. En: Manual de Evaluación, Fundación Kellogg (1998). Hintze, Jorge. “Instrumentos de la evaluación de la gestión del valor público”. En: Responsabilización y evaluación de la gestión pública. CLAD/AECI/MAP/FIIAPP, Caracas, Venezuela. 2005. Martinez Nogueira, Roberto “La evaluación de las organizaciones: Los programas de cambio y la utilización de resultados”. Mimeo, Documento de trabajo - Versión preliminar sujeta a revisiones (2005). Nassuno, Marianne. “Evaluación de resultados y evaluación de satisfacción del usuario-ciudadano: elementos para reflexión”. Documento presentado en el VI Congreso Internacional del CLAD. Noviembre 2001. Ospina Bozzi, Sonia. “Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano”, Reforma y Democracia, Revista CLAD Nro. 19, año 2001. Rossi, P.H. y Freeman, H.E. (1993). “Evaluation: a sistematic approach”. 5ª edición. SAGE Publications, Inc. Thousand Oaks, California, 1993. Sanín Angel, Héctor. “Control de gestión y evaluación de resultados en la gerencia pública (Metaevaluación ? Mesoevaluación)”, Naciones Unidas, CEPAL-ECLAC, Santiago de Chile, 1999. Stake, Robert. “Program Evaluation. Particularly responsive evaluation”. Kalamazoo: Centro de Evaluación, Universidad de Western Michigan, Ocasional paper N° 5, noviembre 1975. Citado en Stufflebeam, Daniel & Shinkfield, Anthony. Evaluación sistemática. Guía teórica y práctica. Editorial Paidós, M.E.C., Barcelona, España. 1993.
Subirats, Joan. “Los instrumentos de las políticas, el debate público y el proceso de evaluación”. En: Gestión y Política Pública, vol. IV, número 1, primer semestre de 1995. Subirarts, Joan. ¿Podemos utilizar los instrumentos de evaluación como palanca de gobierno del sector público?. En: Responsabilización y evaluación de la gestión pública. CLAD/AECI/MAP/FIIAPP, Caracas, Venezuela. 2005. Suchman, Edward A. “Evaluative research: Principles and practice in public service and social action programe”. Nueva York, Russell Sage Foundation, 1967. Citado en Stufflebeam, Daniel & Shinkfield, Anthony. Evaluación sistemática. Guía teórica y práctica. Editorial Paidós, M.E.C., Barcelona, España. 1993. Taschereau, Suzanne. Evaluating the Impact of Training and Institutional Development Programs. A Collaborative Approach. Economic Development Institute of the World Bank, Washington DC, 1998. Weiss, Carol. “Investigación evaluativa. Métodos para determinar la eficiencia de los programas de acción”. Editorial Trillas, México. 1996. (Primera edición 1972). Wholey, J.S. “Evaluation and Effective Public Management”. Boston, Little Brown, 1983. Citado en Ballart, Xavier, Op. Cit. (1996) pag. 335.
Anexo 1: Guía para la Evaluación del Nivel de Cumplimiento
Variables para el análisis de los resultados de: ◆ Estándares de Calidad y compromisos de mejora del componente Estándares de Calidad • Subcomponente Servicios Esenciales • Subcomponente Punto de Contacto ◆ Estándares y compromisos de mejora del componente Sistema de Información y Comunicación ◆ Estándares y compromisos de mejora del componente Sistema de Participación Ciudadana • Subcomponente Sistema de Quejas y Sugerencias
VARIABLES DE EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DE ESTÁNDARES DE CALIDAD DE LOS SERVICIOS ESENCIALES
Cada estándar y cada compromiso de mejora deben ser analizado mediante las variables y preguntas que se describen a continuación.
VARIABLES IMPACTO DEL RESULTADO EN LOS OBJETIVOS DEL SERVICIO NIVEL DE SATISFACCIÓN DEL CIUDADANO NIVEL DE DESAFÍO PREGUNTAS ¿En qué medida el resultado del estándar/compromiso permitió cumplir con los objetivos del servicio (cantidad, cobertura, calidad) establecidos normativamente o definidos por el propio organismo? ¿El resultado del estándar/compromiso logró satisfacer a sus destinatarios o se acercó al nivel de expectativas de los mismos? ¿El resultado del estándar/compromiso se logró con un alto nivel de eficiencia en su producción, teniendo en cuenta la capacidad operativa (recursos disponibles) del área o del organismo? La comparación entre el resultado alcanzado y los resultados obtenidos de la medición de Cartas precedentes o a través del registro histórico del organismo ¿revela un avance o mejora progresiva del servicio?
El resultado del análisis debe ser calificado de acuerdo con la escala de abajo.
CALIFICACIÓN OTORGADA A LA EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DEL ESTÁNDAR / COMPROMISO DE MEJORA:
Malo 1-4 Regular 4-6 Bueno 6-7 Muy Bueno 7-9 Excelente 9-10
SISTEMA DE EVALUACIÓN - ANEXOS
VARIABLES DE EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DE ESTÁNDARES DE CALIDAD DEL PUNTO DE CONTACTO
Verificar y analizar los aspectos y las variables relacionadas con los resultados de cada estándar y compromiso de mejora de la atención al público del organismo.
ASPECTOS CONDICIONES EDILICIAS VARIABLES DE ANÁLISIS 1) Cantidad de asientos de acuerdo al público que concurre. 2) Climatización adecuada. 3) Iluminación adecuada. 4) Limpieza y mantenimiento adecuados. 5) Baños suficientes y en condiciones (incluye baños especiales para personas con capacidades diferentes). Servicios adicionales necesarios (fotocopias, teléfono público,Terminales de consulta, disponibilidad de lapiceras, etc.). Servicios adicionales inherentes al confort (agua, televisor, música funcional, etc.) . Seguridad física adecuada (matafuegos, salidas de emergencia, personal de seguridad, etc.). • Personal debidamente identificado. • Personal instruido en aspectos de seguridad. • Información visible y comprensible en aspectos de seguridad (teléfonos de emergencia, Policía, Bomberos) Confidencialidad: Calidad de los puestos de atención. Permite intimidad y comodidad durante la atención en los casos necesarios. ACCESIBILIDAD Accesibilidad cognoscitiva: Carteleras, señalética, formularios, información presencial, guía de trámites, Centro de Atención Telefónica, sitio web, etc., fácilmente comprensibles. Accesibilidad temporal: Amplitud del horario de acuerdo a las necesidades de los usuarios. Accesibilidad material:Vías de acceso para las personas con capacidades diferentes - ej. Rampa para discapacitados, ingresos amplios, pasillos adecuados; de fácil acceso, etc. Accesibilidad geográfica: Distribución de sedes/ delegaciones en el interior en función de la población/ destinatarios, medios de transporte, posibilidad de estacionamiento de vehículos, etc. Accesibilidad espacial: tamaño del lugar de acuerdo a la afluencia de público, cantidad de puestos de atención de acuerdo a la necesidad de los usuarios.
De los mensajes que recibe VÍNCULO • Claridad y sencillez en la información presencial. CON EL CIUDADANO • Claridad y sencillez en la información de: - Folletos - Carteleras - Instructivos • Otros (web, boletines, información en vía pùblica, etc). De la oportunidad del destinatario de expresar lo que siente • Oportunidad de dialogar adecuadamente con el personal para la realización del trámite y resolución de dudas o problemas. • Información clara y sencilla del sistema de quejas. • Accesibilidad a los formularios de quejas y reclamos. • Posibilidad de escalamiento para la queja o reclamo. • Acceso para sugerir mejoras o cambios en el proceso. COMPETENCIA DEL PERSONAL Conocimientos adecuados: de los procedimientos, aranceles, requisitos para trámites o acceso a servicios o productos. Información necesaria y unificada. Capacitación para el desarrollo de la tarea: Capacitación adecuada y permanente del personal responsable de los procedimientos de atención que le competan, conocimientos y técnicas de atención. Perfil adecuado Adecuado proceso de selección del personal de Atención al Público. Actitud y Disposición del personal • Trato cortés. • Capacidad de escucha. • Comunicación de la intención de ayuda y comprensión. CAPACIDAD DE RESPUESTA Y CONFIABILIDAD Tiempo de espera en sala • Consideración de los casos especiales (discapacitados, ancianos, embarazadas, etc.). • Inexistencia de demoras innecesarias. Capacidad de respuesta a la demanda • Cantidad adecuada de puestos de atención (aún en los momentos de mayor demanda) • Formularios e instructivos disponibles y adecuados a la demanda. Procedimiento de atención • Procedimiento de presentación y despedida. • Procedimiento para el manejo de los casos excepcionales.Las excepciones deben referirse a necesidades propias de los usuarios y no a compromisos de otra índole. • Cuestionario preestablecido de preguntas para el tipo de trámite. • Procedimientos que garanticen el respeto del orden de atención. • Tiempo de atención adecuado (proporcionar el tiempo necesario a cada usuario en la atención). • Atención sin interrupciones. • Obtención de respuestas adecuadas en todos los casos. • Acceso a un procedimiento de escalamiento (si considera que no es tratado adecuadamente).
Malo 1-4
Muy Bueno 7-9
VARIABLES DE EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DE ESTÁNDARES Y COMPROMISOS DE MEJORA DE LOS CANALES DE INFORMACIÓN Y COMUNICACIÓN
Verificar y analizar los aspectos técnicos o variables relacionados con los resultados de cada estándar y compromiso de mejora de los canales utilizados.
CANAL/ INSTRUMENTO Sitio web ASPECTOS TÉCNICOS / VARIABLES DE ANÁLISIS Destinatarios PREGUNTA
¿Está identificado claramente el tipo de destinatario al que se dirige el mensaje / canal? Accesibilidad ¿Es accesible a través de los buscadores más conocidos? ¿La navegabilidad es adecuada (permite acceder en forma simple y rápida a lo buscado? ¿Tiene instructivos en línea? ¿Posee links que faciliten la accesibilidad a otras páginas de interés relacionadas? ¿Tiene las condiciones para el acceso de personas discapacitadas y/o con baja tecnología? Difusión y cober- ¿Tiene un radio de difusión adecuado a su público objetivo? tura del canal ¿Es conocido el sitio entre los destinatarios? (público objetivo, usuarios, usuarios potenciales) Alcances ¿Los contenidos son acordes con el objetivo/ la función del canal? del ¿Los contenidos son los que espera/ necesita el destinatario o público objetivo? contenido • Información institucional integral. • Servicios ofrecidos por tipo de destinatario. • Asistentes para trámites on line y presencial. • Información sobre sistemas de reclamos, sugerencias y resultados de consultas. • Información sobre compromisos asumidos en CCC. • Novedades, agenda de eventos, legislación, normativa. • Etc. Características ¿La información es clara y útil? de la ¿El lenguaje que utiliza es comprensible para los destinatarios? ¿No es información excesivamente técnico? ¿Cuenta con una dirección de correo o link para realizar consultas? Capacidad ¿Ha comprometido un plazo de respuesta a las consultas? ¿Este plazo satisface a de respuesta los ciudadanos? ¿Se actualiza con periodicidad / en forma oportuna, regular y/o permanente? Actualización y se- ¿Cuenta con requisitos y condiciones mínimas de seguridad? guridad del sitio ¿Posee los elementos adecuados para recuperar la opinión de los usuarios? Retroalimentación ¿Tiene una encuesta de satisfacción? ¿Posee un buzón de sugerencias sobre los servicios de la web? ¿Se estandariza el plazo de respuesta de estas sugerencias? ¿La Web satisface a los ciudadanos?
CANAL/ ASPECTOS TÉCNIINSTRU- COS / VARIABLES MENTO DE ANÁLISIS
¿Se diseñó teniendo en cuenta el público objetivo?
Tipo de folleto ¿El tipo de folleto es adecuado teniendo en cuenta: • lo que se quiere informar? • las características de los destinatarios? Accesibilidad ¿Se cuenta con la cantidad adecuada? ¿Son fácilmente accesibles en los Puntos de Contacto y otros sectores del organismo? ¿Se distribuyen en otros sitios de interés para los usuarios? ¿La información que brinda es oportuna? ¿Su frecuencia de reposición /actualización es adecuada, según las necesidades del organismo? ¿según la afluencia de público? ¿Posee una identificación institucional? (logo, Web, 0800, etc.) ¿La información es útil, actualizada, precisa? ¿Los contenidos son los que espera/necesita el destinatario o público objetivo? ¿La información es completa y sintética? ¿Mantiene su utilidad para los destinatarios? ¿Es perdurable? ¿Resulta útil como instrumento de consulta? ¿Su diseño es amigable y atractivo? ¿Es claro el mensaje que quiere comunicar? El tema que aborda ¿es de fácil identificación?
Destinatarios Tipo de información
¿Se diseñó teniendo en cuenta el público objetivo? ¿Contiene información acorde con el objetivo/ la función de la cartelera? • Identificación institucional. • Servicios. • Requisitos para trámites. • Información sobre derechos. ¿Posee información institucional y del PCCC? ¿La visibilidad es adecuada (tamaño de fuentes, iluminación y formato)? ¿La ubicación de la/s cartelera/s es apropiada (en sitios de circulación obligatoria)? ¿Está señalizada?
Periodicidad de ¿Su frecuencia de reposición/ actualización es acorde con las la actualización necesidades de los usuarios? Características ¿La información es útil, completa y actualizada? del contenido ¿La información es concisa, clara y precisa? ¿Los contenidos de la cartelera son los que espera/ necesita el destinatario o público objetivo? Calidad del diseño ¿El diseño de las carteleras es claro y amigable? ¿facilita su lectura y comprensión? ¿Utiliza simbología?
CANAL/ INSTRUMENTO
ASPECTOS TÉCNICOS / VARIABLES DE ANÁLISIS
Destinatarios Accesibilidad
¿Se diseñó teniendo en cuenta el público objetivo? ¿La difusión del boletín es adecuada (incluye cómo suscribirse)? ¿La distribución es adecuada (cantidad y frecuencia)? ¿La cantidad de suscriptos va en aumento? ¿Contiene información acorde con el objetivo/ la función del canal? ¿La información contenida es adecuada para el público objetivo? ¿Contiene información institucional completa y actualizada? • Noticias/ novedades del organismo, agenda de eventos. • Información institucional completa. • Contactos disponibles (teléfonos, e-mail, www). ¿Tiene un lenguaje preciso y sencillo? ¿tiene un diseño ameno y claro? ¿Su frecuencia de actualización es acorde con las necesidades de los usuarios? ¿Existen elementos que permitan conocer la opinión de los destinatarios (e-mail donde expresar la opinión y sugerencias)? ¿Se da respuesta a todas las demandas y consultas?
Calidad del diseño Periodicidad
Tipo de servicio ¿El servicio tiene un horario de atención acorde con los que espera/ necesita el destinatario o público objetivo? brindado ¿Brinda informes? ¿Permite la formulación de quejas y reclamos? ¿Permite el inicio o resolución de trámites? Alcance jurisdiccional ¿El servicio es accesible a todos los usuarios (cualquiera sea el lugar donde residan)?
Difusión del canal ¿El servicio es conocido por los usuarios? Capacidad de respuesta / Capacidad operativa ¿Todas las llamadas son respondidas? ¿Los plazos de atención son los adecuados? ¿Existe análisis de la infraestructura para asegurar su accesibilidad? ¿El personal está entrenado para la tarea? ¿Se distingue en el personal la voluntad de entender y satisfacer el requerimiento del usuario? ¿La información se expresa en forma sencilla y clara (atendiendo a la cultura del receptor)? ¿Se informa con veracidad y exactitud? ¿El tiempo de espera y la duración de las llamadas es apropiada para el tipo de servicio ofrecido? ¿El trato dispensado es el adecuado (cortés y amable)? ¿Se utiliza el canal para conocer la opinión y satisfacción de los usuarios? ¿Se utiliza esa información para mejorar el servicio?
¿Existe un listado de medios masivos/ periodistas para contactar frente a necesidades comunicativas puntuales? ¿Es suficiente para cubrir a los usuarios de los servicios del organismo? ¿Tiene adecuada cobertura geográfica? ¿Tiene adecuada cobertura temática? ¿Se distribuye con suficiente amplitud el comunicado de prensa? ¿Se realizó un seguimiento para evaluar su impacto? ¿La información incluida en el comunicado es acorde con el objetivo fijado para este medio? ¿La información es completa y actualizada? ¿La información contenida es adecuada y suficiente para el público objetivo al que se destina? • Información novedosa, relevante e interesante para los medios de comunicación y el público en general. • Datos institucionales completos. • Contactos disponibles (teléfonos, e-mail, www). ¿Se utiliza un lenguaje periodístico, no excesivamente técnico? ¿El lenguaje es claro, preciso? ¿Es veraz y confiable? ¿La redacción es apropiada para el público destinatarios? ¿La información es sustentada adecuadamente? ¿El comunicado es emitido en forma oportuna de acuerdo a la necesidad de los usuarios o de la estrategia del organismo?
Claridad/ Utilidad
Dossier informativo/ Informes de Gestión/ Estudios de Opinión
¿Se diseñan los informes de acuerdo con las características y/o necesidades de los destinatarios? ¿Se distribuye el instrumento a los destinatarios definidos en su proyecto? ¿En la planificación se incluyen todos los medios de comunicación relevantes para la difusión del tema? ¿El contenido es acorde con las expectativas de los destinatarios? (estudios, planificación, estadísticas). ¿El contenido presenta información clara, completa, desarrollada y actualizada? ¿El lenguaje utilizado es adecuado? ¿El contenido es atractivo y relevante para sus destinatarios? ¿La información brindada está suficientemente sustentada? (estadísticas, datos aclaratorios, series históricas). ¿La periodicidad es adecuada a las necesidades comunicacionales del organismo y de sus usuarios?
Solicitadas/ Anuncios publicitarios
¿Son adecuados los medios utilizados para cumplir el objetivo previsto? ¿Se distribuye el anuncio con suficiente amplitud para cubrir a los usuarios de los servicios del organismo? ¿La información es acorde con los objetivos previstos por el organismo? ¿La información incluida es clara, precisa y completa? ¿Contiene toda la información institucional importante en términos de las necesidades y expectativas de los públicos a los que se dirige? Datos institucionales completos. • Contactos (Tel., e-mail, web, 0-800). • Mensaje claro y directo. • Clara identificación del emisor. ¿El diseño es apropiado en función de las características de los públicos a los que se dirige? • Ordenado, claro. • Impactante/ bien titulado. • Visible/ legible. ¿La información es emitida en forma oportuna de acuerdo a la necesidad de los usuarios o de la estrategia del organismo?
¿Son adecuados los medios utilizados para cumplir el objetivo previsto? ¿Se distribuye el artículo o reportaje adecuadamente en función del tema que aborda? ¿Es suficiente su distribución para cubrir a los usuarios de los servicios del organismo? ¿La información incluida en el comunicado es relevante, novedosa e interesante? ¿Contiene toda la información institucional importante en términos de las necesidades y expectativas de los públicos a los que se dirige? • Datos institucionales completos. Contactos disponibles, e-mail, teléfonos, www (a convenir con el medio). ¿Se aclara cuál es el perfil y trayectoria del entrevistado? ¿La información brindada está suficientemente sustentada? (estadísticas, datos aclaratorios, series históricas, encuestas, cuadros, ilustraciones, infografías, fotos.). ¿El lenguaje utilizado es adecuado para el público al que se dirige? ¿Utiliza un lenguaje llano, evitando los tecnicismos? ¿El reportaje o entrevista es emitido en forma oportuna de acuerdo a la necesidad de los usuarios o de la estrategia del organismo?
Claridad/ Utilidad Periodicidad
¿Existe un listado de medios masivos / periodistas para convocar frente a necesidades comunicativas puntuales? ¿Es suficiente para cubrir a los usuarios de los servicios del organismo? ¿Se organiza con los requisitos que garanticen la confiabilidad del mensaje a transmitir? (Personal jerárquico y calificado del organismo, moderador). ¿Se convoca con suficiente amplitud a medios a la conferencia? ¿Brinda toda la información institucional importante? ¿El lugar y horario de la convocatoria son adecuados y accesibles a los medios? ¿La información es previamente planificada? ¿La información brindada es clara, precisa, completa y actualizada? ¿La información brindada es relevante, novedosa y útil para los periodistas y la ciudadanía? ¿Contiene toda la información institucional importante en función de las características de los destinatarios? ¿La conferencia es convocada en forma oportuna de acuerdo a la necesidad de los usuarios o de la estrategia del organismo?
Organización/ convocatoria
CANAL/ ASPECTOS TÉCNIINSTRU- COS / VARIABLES DE ANÁLISIS MENTO
¿Responde su diseño a las características y necesidades de los usuarios? ¿La señalización posee tipografía legible? ¿Posee un formato y colocación que facilitan la lectura? ¿Tiene una ubicación/ instalación privilegiada con relación a la circulación del público? ¿Utiliza simbología convencional o analógica? ¿Es actualizada en forma permanente en función de los cambios en la organización? ¿La información es útil, precisa, actual y clara? ¿Contiene toda la información necesaria de acuerdo con el objetivo del instrumento? ¿El diseño es amigable y permite comprender fácilmente la información? ¿Respeta aspectos de identificación del organismo (logotipo, colores utilizados, etc.)?
VARIABLES DE EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DE ESTÁNDARES Y COMPROMISOS DE MEJORA DE LAS MODALIDADES DE PARTICIPACIÓN CIUDADANA
Verificar y analizar los aspectos técnicos o variables relacionados con los resultados de cada estándar y compromiso de mejora de las modalidades de participación utilizadas.
FOROS / JORNADAS / TALLERES
ASPECTOS TÉCNICOS /VARIABLES DE ANÁLISIS Objetivo perseguido con la actividad Temática PREGUNTAS ¿Los objetivos fueron claros? ¿Estuvieron formulados adecuadamente? ¿La temática abordada fue la adecuada teniendo en cuenta: • el objetivo establecido? • las características del universo?
Mecanismo de difu- ¿La difusión fue adecuada en función de la cantidad esperada de sión de convocatoria. asistentes? Cantidad de asistentes ¿Se contó con la participación necesaria de la población objetivo? Tipo de actividad Implementación ¿El tipo de actividad desarrollado fue el adecuado, teniendo en cuenta los objetivos a alcanzar y el público objetivo? ¿La frecuencia con que se realizó respondió a un objetivo o estrategia establecida? ¿Fue adecuada la modalidad de implementación (moderador, expositores, dinámica del desarrollo, duración)? ¿Se realizan los talleres con la frecuencia necesaria según los temas a abordar? ¿Se publicaron los resultados? ¿Se realizaron presentaciones? ¿Existió un mecanismo que permita recuperar la opinión de los participantes sobre los instructores, temática abordada, duración, etc.? ¿Fueron utilizados los resultados para la toma de decisiones o en algún plan de mejora?
Frecuencia Difusión de resultados. Existencia de retroalimentación interna:
ASPECTOS TÉCNICOS /VARIABLES DE ANÁLISIS Objetivos de la investigación Contenidos
PREGUNTAS ¿Los objetivos fueron claros? ¿Estuvieron formulados adecuadamente? ¿La temática y contenidos fueron los adecuados, teniendo en cuenta el objetivo de la investigación? - Servicios del organismo relevados. - Dimensiones de la carta relevadas (punto de contacto, información, servicios esenciales). - Temáticas abordadas en cada dimensión (temas al interior de cada dimensión) La muestra ¿fue adecuada/ representativa en relación con el universo definido? (cantidad de casos, representatividad, distribución de los casos, alcance territorial) Cobertura geográfica de la muestra (localidades/ establecimientos) ¿El tipo de encuesta instrumentada fue el adecuado, teniendo en cuenta los objetivos a alcanzar y el público objetivo? ¿El cuestionario utilizado estuvo correctamente formulado? Claridad, extensión, coherencia de las categorías, legibilidad. ¿Se realizó con encuestadores capacitados? El trabajo de campo ¿contó con supervisión? ¿Se controló la aplicación del cronograma establecido? El procesamiento ¿se realizó con los programas adecuados para un buen aprovechamiento de los datos relevados? ¿Se utilizan los programas facilitados por el Programa? ¿Se realizan cruces de datos?
Cantidad/ frecuencia: ¿Se ha realizado con la frecuencia necesaria para obtener los resultados buscados? Existencia de retro- ¿Se publicaron los resultados? ¿Se realizaron presentaciones? alimentación interna: ¿Fueron utilizados para la toma de decisiones o en algún plan de mejora?
ESTUDIO CUALITATIVO: grupos focales y/o entrevistas en profundidad
PREGUNTAS ¿Los objetivos fueron claramente definidos? ¿El diseño del estudio respondió adecuadamente a los objetivos planteados? ¿La temática y contenidos fueron los adecuados, teniendo en cuenta el objetivo? (ver guía de pautas). - Servicios del organismo relevados. - Dimensiones relevadas de la Carta (punto de contacto, información, servicios esenciales, etc.) - Temáticas abordadas en cada dimensión (temas al interior de cada dimensión). - Etc. ¿Estaban capacitados/recibieron capacitación los responsables de realizar las entrevistas para llevar adelante la investigación? ¿La selección de los participantes/ entrevistados se realizó manteniendo la mayor objetividad/ rigurosidad posible (sorteo, al azar, aleatorio, etc.)? ¿Fue adecuado el alcance territorial de la investigación en función del universo relevado? ¿La cantidad de grupos/ entrevistas fue la adecuada, teniendo en cuenta el universo “objetivo” de la información buscada? ¿Se publicaron los resultados? ¿Se realizaron presentaciones? ¿Fueron utilizados para la toma de decisiones o en algún plan de mejora?
Existencia de retroalimentación interna
CALIFICACIÓN OTORGADA A LA EVALUACIÓN DEL NIVEL DE CUMPLIMIENTO DEL ESTÁNDAR/ COMPROMISO DE MEJORA:
ASPECTOS TÉCNICOS /VARIABLES DE ANÁLISIS Convocatoria
PREGUNTAS ¿La convocatoria fue adecuada en forma, frecuencia, etc., teniendo en cuenta la normativa y/u objeto de la misma? ¿La difusión de la convocatoria tuvo en cuenta a todos los interesados (publicidad, invitaciones personalizadas, avisos públicos, etc.)? ¿El sitio de convocatoria reunió las condiciones de accesibilidad e infraestructura adecuadas? ¿Fueron desarrollados durante la audiencia todos los temas para los cuales se realizó la convocatoria? (Contrastar objetivos con temas efectivamente desarrollados). ¿La documentación resultante fue adecuada y amplia (conteniendo los resultados de las propuestas y exposiciones)? ¿Se publicaron los resultados? ¿Fueron utilizados para la toma de decisiones o en algún plan de mejora?
Documento final Retroalimentación interna
CONSEJOS CONSULTIVOS/ CONSEJOS DE ASESORES
PREGUNTAS ¿La convocatoria fue adecuada en forma, frecuencia, etc., teniendo en cuenta la normativa y/u objeto de la misma? ¿La difusión de la convocatoria tuvo en cuenta a todos los interesados? ¿Fueron la temática y contenidos tratados en cada sesión del Consejo los adecuados, teniendo en cuenta el objetivo para los cuales se convocó a cada una de ellas? ¿El sitio de convocatoria reunió las condiciones de accesibilidad e infraestructuras adecuadas? ¿Existió un Coordinador/ Responsable para la implementación de esta herramienta en el organismo? ¿La frecuencia fue adecuada a los objetivos del Consejo? ¿Participaron todos los interesados? ¿La documentación resultante fue adecuada (acta con los temas y conclusiones arribadas)? ¿Se publicaron los resultados? ¿Se realizaron presentaciones? ¿Fueron utilizados para la toma de decisiones o en algún plan de mejora?
Temas desarrollados Funcionamiento
Documentos Retroalimentación interna
SISTEMAS DE QUEJAS Y SUGERENCIAS:
Verificar y analizar los aspectos técnicos o variables relacionados con los resultados de cada estándar y compromiso de mejora del Sistema.
ASPECTOS TÉCNICOS /VARIABLES DE ANÁLISIS Tipo y cantidad de herramientas para acceder al Sistema Canales de difusión Registros del Sistema Procesamiento del Sistema
PREGUNTAS ¿El acceso al sistema es adecuado en cuanto a su sencillez, las modalidades y canales que involucra? ¿La difusión del sistema es la adecuada, teniendo en cuenta las características de los destinatarios de los servicios del organismo? ¿Existe un registro que asegure el correcto seguimiento, la confidencialidad y la posibilidad de alertas cuando no se cumplen con los plazos previstos? ¿El procedimiento asegura una respuesta oportuna al requerimiento registrado? ¿La recolección de información posee la periodicidad y continuidad adecuadas? ¿Los reportes del sistema proveen información clara y sencilla de analizar? ¿El tiempo de respuesta a las quejas, reclamos y sugerencias es razonable? ¿satisface a los ciudadanos? ¿Se publican los resultados? ¿Fueron utilizados para la toma de decisiones o en algún plan de mejora?
Capacidad de Respuesta / Sistema de respuesta Retroalimentación Interna
Anexo 2: Guía para la Evaluación del Nivel de Desarrollo del Programa en el organismo
Variables para el análisis de los resultados del: ◆ Componente Estándares de Calidad de los Servicios • Subcomponente Estándares de Calidad de los Servicios Esenciales • Subcomponente Estándares de Calidad del Punto de Contacto ◆ Componente Sistema de Información y Comunicación ◆ Componente Sistema de Participación Ciudadana • Subcomponente Sistema de Quejas y Sugerencias ◆ Componente Monitoreo y Evaluación
EVALUACIÓN DEL NIVEL DE DESARROLLO DEL COMPONENTE ESTÁNDARES DE CALIDAD DE SERVICIOS Subcomponente Estándares de Calidad de los Servicios Esenciales
VARIABLES DE ANÁLISIS Abarcatividad PREGUNTAS ¿Están estandarizados y/o con compromisos de mejora todos o los principales servicios sustantivos que hacen a la misión y objetivos del organismo? ¿Se encuentran estandarizados y/o con compromisos de mejora los servicios considerados prioritarios por la ciudadanía? ¿Cuenta el subcomponente con una amplia variedad de atributos de calidad estandarizados? ¿Se estandarizaron los atributos más valorados por los ciudadanos? ¿En qué medida los servicios estandarizados se producen en la cantidad necesaria, con la cobertura que corresponde y de manera equitativa y justa? ¿Cuál es el nivel de satisfacción global alcanzado por los ciudadanos respecto de los resultados de los servicios estandarizados?
Universalidad Satisfacción Ciudadana
CALIFICACIÓN OTORGADA AL DESARROLLO DEL SUBCOMPONENTE:
EVALUACIÓN DEL NIVEL DE DESARROLLO DEL COMPONENTE ESTÁNDARES DE CALIDAD DE SERVICIOS Subcomponente Estándares de Calidad del Punto de Contacto
VARIABLES DE ANÁLISIS Abarcatividad PREGUNTAS ¿Están estandarizados y/o con compromisos de mejora todos o los principales aspectos de la atención al público del organismo? ¿Se encuentran estandarizados y/o con compromisos de mejora los aspectos y variables de la atención al público considerados prioritarios por la ciudadanía? ¿El punto de contacto tiene un desarrollo integral de acuerdo con las variables de análisis en Anexo 1? ¿Cuenta el subcomponente con una amplia variedad de atributos de calidad estandarizados? ¿Se estandarizaron los atributos más valorados por los ciudadanos en el punto de contacto? ¿Cuál es el nivel de satisfacción global alcanzado por los ciudadanos respecto de los resultados de las variables de atención al público estandarizadas?
EVALUACIÓN DEL NIVEL DE DESARROLLO DEL COMPONENTE SISTEMA DE INFORMACIÓN Y COMUNICACIÓN
VARIABLES DE ANÁLISIS ESTRATEGIA / ENFOQUE PREGUNTAS ¿Los canales implementados respondieron a un plan o proceso planificado de comunicación? ¿Se desarrolló un diagnóstico que identifique los “destinatarios clave” de la comunicación? ¿Respondió el organismo con diversidad de canales, de lenguaje y/o de contenidos? ¿Fueron todos los destinatarios alcanzados con los canales existentes? ¿Los canales implementados tuvieron un desarrollo integral de acuerdo con las variables de análisis en Anexo 1? ¿El funcionamiento, diseño y contenido del conjunto de canales fue consistente entre sí? ¿Los canales existentes, las metas y compromisos del componente representaron un salto cualitativo en la comunicación del organismo? ¿Respondieron estos canales de comunicación a las expectativas y necesidades de los destinatarios de los servicios del organismo? ¿Se generó un área o fueron designadas personas responsables de llevar adelante la política o pautas comunicacionales del organismo? ¿Hubo registro de acciones que permita revisar, formalizar, institucionalizar herramientas y canales de comunicación? ¿Contaron los canales de comunicación e información con instrumentos para relevar la opinión, satisfacción y expectativas de sus usuarios? ¿Hubo instancias de evaluación, corrección y mejora de canales de comunicación? ¿Se publicitaron los canales de comunicación e información del organismo? ¿Se dieron a conocer/ difundieron los resultados de gestión y consulta ciudadana a través de diversos canales de información?
REGISTRO / REVISIÓN / INSTITUCIONALIZACIÓN EVALUACIÓN / MEJORA
DIFUSIÓN / PUBLICIDAD
EVALUACIÓN DEL NIVEL DE DESARROLLO COMPONENTE PARTICIPACIÓN CIUDADANA
VARIABLES DE ANÁLISIS ESTRATEGIA / ENFOQUE PREGUNTAS ¿Las modalidades y herramientas implementadas respondieron a un plan o proceso planificado de participación? ¿Existió un diagnóstico que identifique las instancias en que es necesaria la participación ciudadana y los “participantes clave” de las mismas? ¿Las modalidades de participación de conjunto respondieron a las diferentes expectativas y necesidades de participación de los ciudadanos? ¿Fueron todos los tipos de destinatarios identificados alcanzados con las modalidades y herramientas utilizadas? ¿Fue consultada la opinión en forma sistemática y regular? ¿Permitió el conjunto de modalidades y herramientas utilizadas conocer las expectativas y determinar la brecha existente, entre lo percibido y lo esperado? ¿Las temáticas abordadas y la información relevada son suficientemente relevantes y útiles para conocer la visión de los “participantes clave” de los distintos temas? ¿Las modalidades y herramientas implementadas tuvieron un desarrollo integral de acuerdo con las variables de análisis en Anexo 1? Las metas propuestas y cumplidas en el periodo ¿representaron un salto cualitativo en la participación ciudadana como proceso que gesta el organismo? ¿Responden estos mecanismos a las expectativas y necesidades de participación de los destinatarios de los servicios del organismo? ¿Se generó un área o fueron designadas personas responsables de llevar adelante las modalidades de participación del organismo? ¿Hubo registro de acciones que permita revisar, formalizar, institucionalizar los procesos, mecanismos y resultados? ¿Permite/ permitió el conjunto de modalidades utilizadas conocer el nivel de satisfacción de los usuarios por los servicios prestados por el organismo? ¿Hubo instancias de evaluación, corrección y mejora de procesos, mecanismos y equipo de gestión de la participación? ¿Se utilizaron los resultados de la participación ciudadana para introducir cambios/ mejoras? ¿Se publicitaron las modalidades de participación implementadas? ¿Se dieron a conocer/ difundieron los resultados y conclusiones de la consulta y participación ciudadana a través de diversos canales de información?
EVALUACIÓN DEL NIVEL DE DESARROLLO COMPONENTE MONITOREO Y EVALUACIÓN
VARIABLES DE ANÁLISIS Nivel de apoyo de la alta dirección a la UMI Creación formal de la UMI, con representación de las áreas relevantes Existencia de una diversidad de responsables de las mediciones Existencia de Registros formalizados Actualización de las mediciones Incorporación de las optimizaciones realizadas en la Carta Compromiso al Tablero de Control Frecuencia / periodicidad de las evaluaciones diagnósticas de los resultados de las mediciones Difusión interna y externa de las mediciones PREGUNTAS ¿Está institucionalmente creada la UMI? ¿Cuenta con el apoyo de las autoridades para desarrollar las correcciones y cambios que sean oportunamente detectados de realizar? ¿Están identificados los responsables de las mediciones y de la documentación de respaldo de las mismas? ¿Están identificados los responsables del análisis y difusión de los resultados del monitoreo? ¿Se cuenta con registros formales de la medición que se encuentren accesibles para su control? ¿Existe documentación de respaldo para las mediciones/ verificaciones del nivel de cumplimiento de los compromisos? ¿Las mediciones son actualizadas de acuerdo con la frecuencia comprometida? ¿Son incorporadas las optimizaciones sustanciales a la Carta Compromiso en el Tablero de Control? ¿Los procesos de medición cuentan con un nivel de informatización adecuado? ¿Los resultados de las mediciones y de las evaluaciones son informados a la Subsecretaría de la Gestión Pública con la periodicidad establecida por el Decreto 229 (trimestral y anual)?
¿Son comunicados los resultados de las mediciones a los destinatarios de los servicios y al personal de la organización? Utilización de la información ¿La información resultante de las mediciones es del monitoreo y la evaluación para la utilizada como un insumo en el proceso de mejora? toma de decisiones de las autoridades ¿Está/n identificado/s el/los responsable/s de liderar y la implementación de mejoras las acciones de mejora, resultantes del análisis del monitoreo?
Oficina Nacional de Innovación de Gestión Dirección de Calidad de Servicios y Evaluación de Gestión Av. Roque Sáenz Peña 511 Piso 7º - Oficina 704 Ciudad Autónoma de Buenos Aires e-mail: compromiso@sgp.gov.ar http://cartacompromiso.sgp.gov.ar/CartaCom/index.htm
More From This UserSkip carouselResult a DosProyectos Del PP 2011Proyectos del PP 2011Proyectos Del PP 2011presupuesto participativo ejecución octubreFormulario de proyecto 2011Ficha de Idea 2011Ficha de Idea 2011seguimientoLa Gestión local como motor del desarrolloIncoherenciasPoliticasParticipativas.ford.2007[1]DesafiosPoliticasParticipativas.CarneFord.2008[1]CondicionesPreviasPoliticasParticipativas.ford.2009[1]9 acta de votacionpresentacion de proyectos8 Listado de Proyectos Con Votos7 Informe General de Asambleas3 Estadistica cdelu2 Ordenanza Presupuesto Participativo1 Presentacion Del Programa PP
Sign up to vote on this titleUsefulNot usefulevaluacion by ppcdelu0.0 (0)EmbedDownloadRead on Scribd mobile: iPhone, iPad and Android.Copyright: Attribution Non-Commercial (BY-NC)Download as PDF, TXT or read online from ScribdFlag for inappropriate contentMore informationShow less
RelatedResult a Dosby ppcdeluProyectos Del PP 2011by ppcdeluProyectos del PP 2011by ppcdeluProyectos Del PP 2011by ppcdelupresupuesto participativo ejecución octubreby ppcdeluFormulario de proyecto 2011by ppcdeluFicha de Idea 2011by ppcdeluFicha de Idea 2011by ppcdeluseguimientoby ppcdeluLa Gestión local como motor del desarrolloby ppcdeluIncoherenciasPoliticasParticipativas.ford.2007[1]by ppcdeluDesafiosPoliticasParticipativas.CarneFord.2008[1]by ppcdeluCondicionesPreviasPoliticasParticipativas.ford.2009[1]by ppcdelu9 acta de votacionby ppcdelupresentacion de proyectosby ppcdelu8 Listado de Proyectos Con Votosby ppcdelu7 Informe General de Asambleasby ppcdelu3 Estadistica cdeluby ppcdelu2 Ordenanza Presupuesto Participativoby ppcdelu1 Presentacion Del Programa PPby ppcdeluMore From ppcdeluSkip carouselResult a DosProyectos Del PP 2011Proyectos del PP 2011Proyectos Del PP 2011presupuesto participativo ejecución octubreFormulario de proyecto 2011Ficha de Idea 2011Ficha de Idea 2011seguimientoLa Gestión local como motor del desarrolloIncoherenciasPoliticasParticipativas.ford.2007[1]DesafiosPoliticasParticipativas.CarneFord.2008[1]CondicionesPreviasPoliticasParticipativas.ford.2009[1]9 acta de votacionpresentacion de proyectos8 Listado de Proyectos Con Votos7 Informe General de Asambleas3 Estadistica cdelu2 Ordenanza Presupuesto Participativo1 Presentacion Del Programa PP

References: Artículo 18
 resolución 
 resolución 
 resolución 
 resolución 
 resolución