Evaluación

¿Cómo ayuda la evaluación en la prevención del VIH?

¿qué es la evaluación?

La mayoría de los proveedores de servicios de prevención del VIH realizan actividades periódicas de evaluación y recolección de datos, aunque tal vez no consideren que sea una evaluación. Tomar notas durante reuniones de manejo de casos de prevención, comentar las opiniones de los clientes sobre los servicios que han recibido, observar un sitio de intercambio de jeringas, tomar notas en juntas del personal: todos son ejemplos de la recolección “informal” de datos que sucede a diario. La evaluación provee sistemas para obtener datos, luego ayuda a los proveedores a entenderlos y aplicarlos en el trabajo. La evaluación puede profundizar los conocimientos de los proveedores, su entendimiento de los grupos poblacionales que sirven, aumentar la eficacia de los programas que ofrecen y las decisiones que se toman. La evaluación es una manera de identificar los puntos programáticos fuertes y débiles¹ y facilita que los programas obtengan los resultados que desean. También permite que los proveedores se responsabilicen ante las comunidades en que trabajan y ante las entidades que los financian. La evaluación puede integrarse en todas las fases de planificación y ejecución de una intervención.

• Antes (evaluación formativa, valoración de necesidades): Para entender el contexto de las vidas de los miembros de la comunidad y lo que los pone en riesgo, cómo evitan el riesgo o qué recursos necesitan para reducirlo y mantener la salud y el bienestar. Esto puede ayudar a darle forma al programa y proveer datos basales que ayuden a medir cualquier cambio.
• Durante (monitoreo y evaluación del proceso, control de calidad): Para averiguar exactamente qué sucede en la práctica y si el programa opera tal y como fue planeado; para documentar las interacciones con los participantes; para identificar los componentes que sirven mejor y para saber si el programa satisface las necesidades de los participantes. Esta información puede ayudar a desarrollar cambios al programa.
• Después (evaluación del impacto y los resultados): Para determinar si el programa tuvo algún efecto a corto y a largo plazo sobre los participantes, sus parejas y familias, sobre el personal del programa y la comunidad. En ese momento, el personal puede reevaluar los objetivos del programa y aprovechar los datos obtenidos para refinar más los programas.

¿por qué hay que evaluar?

La evaluación puede aumentar la eficiencia y la calidad de los programas. No sustituye la experiencia ni los conocimientos del personal pero sí puede brindar información complementaria. El uso de datos recolectados sistemáticamente para el diseño de una intervención o programa puede ayudar a tomar decisiones inteligentes sobre qué elementos incorporar y qué conductas, influencias y circunstancias de vida se deben tomar en cuenta.¹ La evaluación puede ayudar a las organizaciones a solicitar fondos con mayor éxito, claridad y precisión. Muchos financiadores requieren que los solicitantes demuestren que han pensado sistemáticamente en las intervenciones que brindan actualmente y las que proponen.² La evaluación también puede ayudar a identificar exactamente qué servicios benefician más a los participantes, lo cual permite que en vez de responder a toda convocatoria de financiación, se trabaje sólo en las que concretamente respondan a las necesidades de los participantes.¹

¿cuál es una buena pregunta de evaluación?

Las buenas preguntas de evaluación se derivan de objetivos programáticos bien formulados que sean realistas y medibles. Al diseñar actividades programáticas basadas en un resultado deseado (por ejemplo: realizar extensión comunitaria para aumentar el número de mujeres que reciben la prueba del VIH), es mucho más fácil articular la evaluación.⁴ Por el contrario, es difícil evaluar programas que carecen de dirección. El indicador de una buena pregunta de evaluación es que a uno le importe la respuesta. ¿Qué es más útil conocer: el número de condones repartidos en un mes, o lo que hacen los clientes después de recibirlos? Asimismo, una pregunta buena también debe poder ser respondida. Muchas organizaciones tal vez quieran saber si sus programas son eficaces, pero estas preguntas tan amplias requieren de más tiempo, dinero y personal de los que disponen. Por ejemplo, en vez de preguntar, “¿Hemos reducido las tasas de VIH entre los hombres homosexuales?” otra pregunta más útil y más fácil de contestar podría ser: “¿Han reducido su consumo de metanfetamina o aumentado su uso de condones los hombres que asistieron a nuestro programa de pláticas grupales?”

¿cuáles son las percepciones?

Una percepción común sobre la evaluación es qué ésta se usa únicamente por financiadores para “comprobar” el éxito o fracaso de los programas. No es de extrañar que muchas organizaciones desconfíen al respecto.^4,5 Sin embargo, la evaluación permite que los proveedores descubran por sí mismos qué funciona y qué no, qué ajustes se necesitan para mejorar el programa y si sus servicios están logrando cambios en las vidas de sus usuarios y en la comunidad. Otra percepción es que la evaluación “se le hace a” la organización por alguien ajeno a ésta, cuando en realidad puede incorporarse en la planificación programática con la participación plena de todos los miembros de la propia organización. Esto fortalece el proceso y asegura que los resultados se entiendan y se aprovechen. Los evaluadores, el personal de atención al público, los representantes de la comunidad o participantes del programa deben ser incluidos en todas las fases: el diseño de las preguntas de evaluación, la revisión de formularios o guías y las discusiones sobre resultados y puntos de acción.⁶

¿cómo se realiza la evaluación?

Las organizaciones pueden realizar la evaluación de muchas maneras. Una es capacitar al personal para que la efectúe o contratar a algún miembro del propio personal con experiencia en investigación para que se encargue de la evaluación y de los datos. Este método puede ser el más apto para una organización grande con muchos recursos. Por ejemplo, el equipo de evaluación del AIDS Project Los Angeles colaboró con la iniciativa Commercial Sex Venues (CSV) para diseñar y evaluar actividades de reducción de riesgos en nueve CSV en el condado de Los Ángeles. El personal del programa y el de evaluación diseñaron e implementaron conjuntamente investigaciones formativas, pre y postevaluaciones, formularios de extensión comunitaria, la evaluación del programa y una valoración anual de las necesidades de los usuarios. Los usuarios de los CSV reportaron una reducción en encuentros sexuales sin protección en el seguimiento realizado un año más tarde.⁷ Otro ejemplo es que la propia organización contrate a un evaluador externo para que realice este trabajo ya sea una sola vez o en forma continua. Este método puede resultar menos costoso que la contratación de personal de plantilla, puede promover la ejecución de algunos aspectos de la evaluación con recursos internos y puede ser visto por los financiadores como un proceso menos subjetivo que el realizado por un evaluador interno. Las experiencias de las organizaciones con los evaluadores externos han sido positivas y negativas. Estas evaluaciones suelen ser más exitosas cuando existe una colaboración fuerte; concordancia sobre los roles, responsabilidades y expectativas; y una solidaridad absoluta entre el evaluador y la organización. Al contratar a un evaluador, las organizaciones pueden buscar a un profesional con un historial de colaboración exitosa, amplia habilidad y experiencia de evaluación en ambientes de prestación de servicios y conocimientos o experiencia con la población beneficiada por el programa.⁸ Un tercer ejemplo es la colaboración entre una organización y un evaluador para desarrollar los métodos de evaluación y aumentar la capacidad de la organización. En Chicago, el HIV Prevention and Adolescent Mental Health Project (CHAMP), es una colaboración a largo plazo entre investigadores de la Universidad de Chicago, padres de familia, escuelas y organizaciones comunitarias. Conjuntamente han diseñado, implementado y evaluado este programa de prevención del VIH para jóvenes negros y sus familias. Iniciaron su colaboración en 1995 y la continúan hasta la fecha.⁹ Los Centros para el Control y Prevención (CDC siglas en inglés) han otorgado fondos para proyectos de fomento de capacidad (CBA en inglés) que integran las actividades de planificación, vigilancia y evaluación programática en las organizaciones. Una red nacional de proveedores CBA fomenta la capacidad organizacional, de prevención del VIH y de evaluación en organizaciones con usuarios asiáticos e isleños del Pacífico, latinos, indígenas americanos, nativos de Alaska y afroamericanos.¹⁰

¿qué queda por hacer?

Si no se le asignan tiempo y fondos concretos, la evaluación puede perderse en el mundo de los servicios a usuarios el cual gira en torno a las crisis. Se debe alentar a las organizaciones a promover un ambiente de aprendizaje junto con la provisión de servicios. Las organizaciones pueden incorporar en los perfiles de sus puestos el tiempo necesario para realizar la evaluación y pueden asignar al personal el tiempo necesario para comentar lo que han aprendido en reuniones periódicas. Los financiadores necesitan cubrir todos los gastos relacionados con la evaluación para que ésta cuente con suficiente personal. Con frecuencia se pasa por alto los costos del tiempo y capacitación del personal, el registro de datos, el análisis de datos y la redacción y divulgación del informe sobre los resultados de la evaluación. Es esencial difundir los resultados de la evaluación. El personal de la organización necesita redactar informes sobre los hallazgos y presentarlos en congresos regionales y nacionales. Los financiadores necesitan compartir informes con las organizaciones y con otros financiadores y sintetizar las lecciones aprendidas para todos sus financiados. Los departamentos de salud pueden organizar reuniones regionales para difundir resultados y fomentar vínculos entre organizaciones con necesidades de evaluación similares.

¿Quién lo dice?

1. Gandelman AA, DeSantis LM, Rietmeijer CA. Assessing community needs and agency capacity—an integral part of implementing effective evidence-based interventions. AIDS Education and Prevention. 2006;18:32-43. 2. Holtgrave DR, Gilliam A, Gentry D et al. Evaluating HIV prevention efforts to reduce new infections and ensure accountability. AIDS Education and Prevention. 2002;14SA:1- 3. Nu’Man J, King W, Bhalakia A, et al. A framework for building organizational capacity integrating planning, monitoring, and evaluation. Journal of Public Health Management and Practice. 2007;Suppl:S24-32. 4. Kegeles SM, Rebchook GM. Challenges and facilitators to building program evaluation capacity among community-based organizations. AIDS Education and Prevention. 2005;17:284-299. 5. Napp D, Gibbs D, Jolly D, et al. Evaluation barriers and facilitators among community-based HIV prevention programs. AIDS Education and Prevention. 2002;14:38-48. 6. Gilliam A, Davis D, Barrington T, et al. The value of engaging stakeholders in planning and implementing evaluations. AIDS Education and Prevention. 2002;14:5-17. 7. Mutchler M, Colemon L. A model for community-based participatory evaluation: Benefits, challenges and lessons of evaluating HIV prevention in commercial sex venues. Presented at the 2005 Nat’l HIV Prevention Conf, Atlanta, GA. #M3-D0601. 8. Center for AIDS Prevention Studies. Working Together: A Guide to Collaborative Research in HIV Prevention. 2001. 9. Baptiste DR, Paikoff RL, McKay MM, et al. Collaborating with an urban community to develop an HIV and AIDS prevention program for black youth and families. Behavior Modification. 2005;29:370-416. 10. Taveras S, Duncan T, Gentry D, et al. The evolution of the CDC HIV Prevention Capacity-building Assistance Initiative. Journal of Public Health Management & Practice. 2007;13S:S8-S15. Recursos Manuales

• A Buenas Preguntas… ¡Mejores Respuestas!: Un manual de investigación formativa, CAPS
• Evaluacion de Programas, NMAC
• Manual de Evaluación, Fundación W.K. Kellogg

Herramientas

• Caja de Herramientas Comunitarias

Preparado por Dara Coan,* Oscar Macias,* Janet Myers,** Kevin Khamarko*** *San Francisco Public Health Department, **CAPS, ***AETC Evaluation Center Traducción: Rocky Schnaath Abril 2008. Hoja de Dato #44SR