Library

Resource

Technical Assistance (TA) Services

CAPS/PRC Technical Assistance

How can we assist your organization?

CAPS/PRC is funded to provide technical assistance (TA) to community based organizations and local and state health departments to assist in the access, use and implementation of HIV science to strengthen programmatic and research processes, develop stronger grant proposals and develop evidence based policies. Contact us now. 

Consultations are also offered by the CAPS Developmental, Methods, Community Engagement, and Intervention and Implementation Cores. Visit each core to learn more about the specific services and resources that are currently available. 

Scientific Assistance

  • Consult with a Researcher
  • Review of Program Materials
  • Targeted Review for Grant Proposals and Surveys
  • Assistance in facilitating research/community partnerships
  • Science to Inform Policy

Access and use of HIV Science

  • Assessments and measurement tools
  • Fact Sheets, Reports, Research Summaries and Instruments
  • Science Access (Journal Articles searches, etc)
  • Recommend Resources in Spanish
  • Interpreting and applying HIV science to community programs

Community Collaboration

  • Community Advisory Board TA
  • Partnership Development
  • Community Engagement
  • Evaluation Resources

Dissemination and Engagement

  • Dissemination and Diffusion Strategies
  • Social Media for Public Health
  • Utilizing Web Metric and Analytics

Past Technical Assistance Provided:

  • Strategize web marketing for an Open-Access GIS system self-teaching curriculum
  • Connect Community-Based Organizations with Survey Instruments
  • Assist in the development and implementation of a Community Advisory Board (CAB)

Contact the Community Engagement (CE) Core with questions or requests at:

Web contact form / Phone: 415-476-6326 / Email: [email protected]

Resource

Cost effectiveness

Can cost-effectiveness analysis help in HIV prevention?

Why invest in HIV prevention?

HIV prevention is still our best hope for fighting the HIV/AIDS epidemic. The estimated lifetime cost of care and treatment for just one HIV+ person is about $195,000.1 Given 40,000 new infections a year, it will cost more than $6 billion in future years to care for everyone who gets infected this year alone.2 By keeping people from becoming infected, HIV prevention not only saves lives and slows down the epidemic, it also reduces the number of persons who require expensive medical regimens to combat their HIV disease. The cost of the AIDS epidemic is incurred not only in dollars, but also in the suffering and death of friends, family and loved ones. The loss to society is untold. We lose productivity and creativity, as well as health and social service dollars. AIDS has a high cost to society because it predominantly affects young adults in their prime for work and childbearing. In 1998, HIV was the fifth leading cause of death in the US for persons aged 25-44, the leading cause of death for African American men aged 25-44 and the third leading cause of death for African American women in the same age group.3

What is cost-effectiveness analysis?

The term cost-effectiveness analysis refers to the economic analysis of an intervention. In HIV prevention, one measure of cost-effectiveness is the cost per HIV infection averted. This is affected by many factors: intervention cost, number of people reached, their risk behaviors and HIV incidence, and the effectiveness of the intervention in changing behavior. The purpose of cost-effectiveness analysis is to quantify how these factors combine to determine the overall value of a program. Cost-effectiveness analysis can determine if an intervention is cost-saving(cost per HIV infection averted is less than the lifetime cost of providing HIV/AIDS treatment and care) or cost-effective (cost per HIV infection averted compares favorably to other health care services such as smoking cessation or diabetes detection). Community-based organizations (CBOs), community planning groups (CPGs) and health departments often face the difficult task of choosing from a spectrum of HIV prevention strategies in order to best address the HIV prevention needs of the riskiest populations in their community. Knowing the cost-effectiveness of programs can help them decide how to save the most lives with the limited resources available.4 Cost-effectiveness analyses also break down the costs and resources needed to implement interventions—personnel, training, supplies, transportation, rent, overhead, volunteer services, etc. This can help CBOs decide if they can implement an intervention.

What are the limitations?

Cost-effectiveness is an important consideration but is only one of many factors that should be considered when making program decisions. Cost-effectiveness models do not take everything into account—sometimes they omit important but hard to quantify factors like family stability, freedom from HIV-related stigma and social justice. In addition to helping clients reduce their HIV risk, many interventions also help clients get into stable housing, out of abusive relationships or into drug treatment programs. These outcomes are not easily quantifiable in cost-effectiveness models. HIV prevention cost-effectiveness estimates cannot be generalized easily because the effectiveness of programs is determined by rates of infection and risk behaviors that may vary greatly across populations. Unlike a surgical procedure, which is likely to be as effective in Cleveland as it is in Dallas, HIV prevention programs can be more or less effective depending on the status of the epidemic in a community at risk.5 More and more, HIV prevention programs are being asked to “prove their worth” by showing they are cost-saving or cost-effective. Just because a program doesn’t save society money, doesn’t mean it’s not good or needed. A program that does not save money might still be cost-effective; or, it might not be cost-saving or cost-effective yet still be something that society wants and needs.

What programs are cost-effective?

A variety of intervention strategies for injection drug users were shown to be cost-effective: needle exchange (typically $4,000-40,000 per HIV infection averted, or HIA), HIV testing and counseling ($5,000-10,000 per HIA) and drug treatment ($40,000 per HIA which may not include important benefits like crime reduction).6 Project LIGHT, a randomized, controlled multisite HIV prevention trial, tested a seven-session small group intervention based on cognitive-behavioral therapy. Project LIGHT found the multi-session intervention to be more effective at reducing sexual risk than a comparison 1-hour videotape session. However, the seven-session intervention was also more expensive to implement. Cost-effectiveness analysis showed that the multi-session intervention was not only more effective than the videotape session in reducing risk, but also was more cost-effective.7 Safer Choices, a school-based HIV, STD and pregnancy prevention program, achieved a 15% increase in condom use and an 11% increase in contraceptive use among sexually active students. By preventing cases of HIV, chlamydia, gonorrhea, pelvic inflammatory disease and pregnancies, Safer Choices saved $2.65 in medical and social costs for every dollar spent on the program.8 The Mpowerment Project is a community-level HIV prevention intervention run by and for young gay and bisexual men. Mpowerment took place in a mid-sized city with low HIV prevalence and used community building and peer influence to alter the norms of the gay community. The program proved to be cost-effective even with resource- intensive components such as personnel, renting a community space and running social events. Mpowerment was estimated to avert 5-6 HIV infections over 5 years, with cost per HIA of $14,600-18,300.9 In the developing world, where the need for aggressive HIV prevention efforts is profound, interventions have been found to be very cost-effective. This is because the epidemic is very severe, and because program costs (such as personnel) are low in these countries. Estimates of cost-effectiveness include: STD control and condom promotion in commercial sex workers ($8-10 per HIA), female condom promotion in high-risk women (cost-saving), voluntary counseling and testing (about $70 per HIA in HIV-discordant couples, $300 overall), community STD control ($350 per HIA), and mother-to-child transmission reduction with nevirapine ($300-500 per HIA).10

What does cost-effective analysis show?

  • All other things being equal, interventions targeted to high-seroprevalence areas tend to be more cost-effective than interventions that are not targeted.
  • Low cost doesn’t mean cost-effective. If a client needs an intensive intervention, spending the money may be the most cost-effective choice in the long run.
  • Reaching more clients for the same money isn’t always the best thing to do. Giving everyone a brochure produces little behavior change, whereas working intensively to help high-risk clients use condoms correctly, communicate safer sex desires to their partners and learn to recognize and avoid high-risk situations can result in pronounced behavior change.113

What still needs to be done?

Cost-effectiveness analyses can help determine how to save the most lives with limited funding. Neglecting cost-effectiveness information may waste scarce prevention dollars, and thereby miss the opportunity to save lives.12 To this end, simpler cost-effectiveness models and improved technical assistance are needed to help public health decision-makers make better use of cost-effectiveness information.13

Says who?

1. Holtgrave DR, Pinkerton SD. Updates of cost of illness and quality of life estimates for use in economic evaluations of HIV prevention programs. Journal of Acquired Immune Deficiency Syndromes. 1997;16:54-62. 2. Holtgrave DR, Pinkerton SD. The economics of HIV primary prevention. In JL Peterson & RJ DiClemente (eds). Handbook of HIV Prevention. New York: Plenum Press, 2000; 285-296. 3. Centers for Disease Control and Prevention. Mortality slide series.https://www.cdc.gov/hiv/library/slidesets/index.html. 4. Kahn JG. The cost-effectiveness of HIV prevention targeting: how much more bang for the buck? American Journal of Public Health. 1996;86:1709-1712. 5. Pinkerton SD, Johnson-Masotti AP, Holtgrave DR, et al. Using cost-effective league tables to compare interventions to prevent sexual transmission of HIV. AIDS. 2001;15:917-928. 6. Kahn JG. Economic evaluation of primary HIV prevention in intravenous drug users. In Holtgrave DR, ed. Handbook of Economic Evaluation of HIV Prevention Programs. New York:Plenum Press, 1998. 7. Pinkerton SD, Holtgrave DR, Johnson-Masotti AP, et al. Cost-effectiveness of the NIMH Multisite HIV Prevention intervention. AIDS and Behavior. 2002;6:83-96. 8. Wang LY, Davis M, Robin L, et al. Economic evaluation of Safer Choices. Archives of Pediatric and Adolescent Medicine. 2000;154:1017-1024. 9. Kahn JG, Kegeles SM, Hays R, et al. Cost-effectiveness of the Mpowerment Project, a community-level intervention for young gay men. Journal of Acquired Immune Deficiency Syndromes. 2001;27:482-491. 10. Marseille EA, Hofmann PB, Kahn JG. HIV prevention should be funded before HAART in Sub-Saharan Africa. Lancet. In press 11. Centers for Disease Control and Prevention. Compendium of HIV Prevention Interventions with Evidence of Effectiveness. November 1999. 12. Institute of Medicine. No time to lose – getting more from HIV prevention. Washington, DC: National Academy Press; 2000. 13. Pinkerton SD, Holtgrave DR. A method for evaluating the economic efficiency of HIV behavioral risk reduction interventions. AIDS & Behavior. 1998;2:189-201.

Further reading:

DR Holtgrave (ed). Handbook of Economic Evaluation of HIV Prevention Programs. New York: Plenum Publishers, 1998. Gold MR, Siegel JE, Russell LB, Weinstein MC (eds). Cost- effectiveness in Health and Medicine. New York: Oxford University Press, 1996.

Prepared by James G. Kahn*, Steven D. Pinkerton**, David R. Holtgrave*** *Institute for Health Policy Studies, UCSF; **Center for AIDS Intervention Research, Medical College of Wisconsin; ***Rollins School of Public Health, Emory University January 2002. Fact Sheet #12ER Special thanks to the reviewers of this Fact Sheet: Kim Compoc, Karin Coyle, Paul Farnham, Susan Fernyak, Celia Friedrich, Anne Haddix, Ana Johnson-Masotti, Susan Klein, Frank Laufer, Rani Marx, David Perlman, Katherine Phillips, Ron Stall, Mike Sweat, Gary Zarkin.

Reproduction of this text is encouraged; however, copies may not be sold, and the Center for AIDS Prevention Studies at the University of California San Franciso should be cited as the source of this information. For additional copies of this and other HIV Prevention Fact Sheets, please call the National Prevention Information Network at 800/458-5231. Comments and questions about this Fact Sheet may be e-mailed to [email protected]. © February 2002, University of California

Resource

Análisis de costo-efectividad

Puede el análisis de costo-efectividad ayudar en la prevención del VIH?

¿por qué invertir en la prevención?

La prevención del VIH sigue siendo nuestra mejor esperanza en la lucha contra la epidemia del VIH/SIDA. Se calcula que el costo de la atención médica y otros cuidados para una sola persona VIH+ es de $195,000 (en dólares estadunidenses) durante el transcurso de su vida.1 Dadas las 40,000 nuevas infecciones que ocurren cada año, el cuidado de todas las personas que se infecten solamente este año costará más de 6 mil millones de dólares.2 Al evitar el contagio, la prevención del VIH no sólo salva vidas y retrasa la epidemia, sino que también reduce el número de personas que requieren atención médica costosa para combatir su enfermedad del VIH. El costo de la epidemia del SIDA no se mide en dólares solamente, sino en el sufrimiento y la muerte de amigos, familiares y seres queridos. Lo que la sociedad pierde no se puede medir. Se ha perdido productividad y creatividad así como el dinero gastado en servicios médicos y sociales. El SIDA tiene un alto costo para la sociedad, ya que afecta principalmente a adultos jóvenes que están en la mejor edad para trabajar y tener hijos. En los EEUU en 1998, entre las personas de 25-44 años, el VIH fue la quinta causa de muerte, la primera causa de muerte para hombres afroamericanos y la tercera para mujeres afroamericanas.3

¿qué es el análisis de costo-efectividad?

El término análisis de costo-efectividad se refiere al análisis económico de una intervención. En la prevención del VIH, el costo de cada infección que se evite representa una medida de costo-efectividad. Aquí entran en juego varios factores: el costo de la intervención, el número de personas alcanzadas, sus conductas riesgosas e incidencia de VIH, y la eficacia de la intervención para cambiar la conducta. El propósito del análisis de costo-efectividad es cuantificar cómo estos factores se combinan para determinar el valor general de un programa. El análisis de costo-efectividad puede determinar si una intervención reduce costos (el costo por infección evitada es inferior al costo del tratamiento y cuidado de por vida de la persona con VIH/SIDA) o si es costo-efectiva (es decir el costo por infección evitada es favorable en comparación con otros servicios de salud como los programas para dejar de fumar o detectar la diabetes). Muchas veces las organizaciones comunitarias, los grupos de planificación comunitaria y los departamentos de salud tienen la difícil tarea de escoger, entre una amplia gama de estrategias para evitar el VIH, aquellas intervenciones que se ajusten mejor a las necesidades de los grupos de mayor riesgo en su comunidad. Conocer la costo-efectividad de los programas puede ayudarles a decidir cómo salvar el mayor número de vidas con recursos limitados.4

¿cuáles son las limitaciones?

El análisis de costo-efectividad es una consideración importante, pero es sólo uno de muchos factores que deben tenerse en cuenta al tomar decisiones programáticas. Los modelos de costo-efectividad no toman todo en cuenta. A veces omiten factores importantes pero difíciles de cuantificar como la estabilidad familiar, el estigma relacionado con el VIH y la justicia social. Además de ayudar a los clientes a reducir su riesgo de contraer el VIH, muchas intervenciones también los ayudan a conseguir vivienda estable, dejar relaciones abusivas o ingresar a programas para dejar las drogas. Esto no es fácil de medir usando los modelos de costo-efectividad. Los cálculos de costo-efectividad de los programas de prevención del VIH no se pueden generalizar fácilmente, pues dependen de tasas de infección y conductas arriesgadas que pueden variar mucho entre grupos y comunidades. A diferencia de una cirugía, que tiene las mismas posibilidades de obtener buenos resultados en Cleveland que en Dallas, la eficacia de los programas de prevención del VIH puede variar de acuerdo con las características de la epidemia en una comunidad en riesgo.5 Cada vez más se les pide a los programas de prevención del VIH que “comprueben su valía” demostrando que reducen costos o que son costo-efectivos. El hecho de que un programa no le ahorre dinero a la sociedad no significa sea inadecuado o innecesario. Un programa que no ahorra dinero puede seguir siendo costo-efectivo; o bien, puede ser un servicio que la sociedad necesita y desea aún cuando no reduzca costos ni sea costo-efectivo.

¿qué programas son costo-efectivos?

Se ha comprobado la costo-efectividad de varias estrategias de intervención para usuarios de drogas inyectables: el intercambio de jeringas (unos $4,000-40,000 por infección de VIH evitada, o IVE), pruebas del VIH y consejería ($5,000-10,000 por IVE) y tratamiento de la drogadicción ($40,000 por IVE, una cifra que tal vez no incluya otros beneficios importantes como la reducción de la delincuencia).6 El proyecto LIGHT, un ensayo clínico de prevención del VIH con selección al azar y un grupo de control que se realizó en varios sitios, puso a prueba una intervención de siete sesiones de grupo. El proyecto LIGHT encontró que la intervención de varias sesiones fue más eficaz para reducir el riesgo sexual comparada con la de ver una sola vez un video de una hora. Sin embargo, la intervención de siete sesiones también fue la más costosa de implementar. El análisis de costo- efectividad demostró que la intervención de varias sesiones no sólo fue más eficaz que la sesión de video para reducir el riesgo, sino que también fue la más costo-efectiva.7 Safer Choices (Opciones Más Seguras) es un programa escolar para prevenir el VIH, las ETS y el embarazo. Este programa logró un incremento del 15% en el uso de condones y un incremento del 11% del uso de métodos anticonceptivos entre los estudiantes sexualmente activos. Al evitar casos de VIH, clamidia, gonorrea, enfermedad pélvica inflamatoria y embarazo, Safer Choices ahorró $2.65 en costos médicos y sociales por cada dólar gastado en el programa.8 El proyecto Mpowerment es una intervención comunitaria dirigida por y para hombres jóvenes gay y bisexuales. Mpowerment se realizó en una ciudad mediana con pocos casos de VIH. Los jóvenes emplearon el fortalecimiento comunitario y la influencia de pares para cambiar las normas de la comunidad homosexual. El programa resultó ser costo-efectivo a pesar de tener componentes que consumen muchos recursos como el personal, el alquiler de un espacio y el tiempo dedicado a la organización de funciones sociales. Se calcula que Mpowerment evitó 5-6 infecciones de VIH durante el transcurso de 5 años, con un costo por IVE de $14,600-18,300.9 En los países en vías de desarrollo, donde hay una enorme necesidad de campañas agresivas de prevención del VIH, se ha comprobado que las intervenciones son costo-efectivas. Esto se debe a la gravedad de la epidemia y a los bajos costos de los programas y de personal en estos países. Algunos cálculos de intervenciones costo-efectivas incluyen: control de ETS entre trabajadores sexuales comerciales ($8-10 por IVE), promoción del uso de condones femeninos entre mujeres con alto riesgo (reduce costos), pruebas del VIH y consejería hechas en forma voluntaria (unos $70 por IVE en parejas VIH-discordantes, $300 en general), control comunitaria de ETS ($350 por IVE) y reducción con nevirapina de la transmisión madre-a-hijo ($300-500 por IVE).10

¿qué demuestra el análisis de costo-efectividad?

  • Suponiendo que todos los otros factores sean iguales, las intervenciones dirigidas a áreas de alta seroprevalencia tienden a ser más costo-efectivas que otras intervenciones no dirigidas.
  • Bajo costo no significa costo-efectivo. Si un cliente necesita una intervención intensiva, gastar el dinero en esa intervención podría ser la opción más costo-efectiva a largo plazo.
  • Alcanzar a más clientes por la misma cantidad de dinero no necesariamente produce el mejor resultado. Repartir folletos a todo mundo genera pocos cambios de comportamiento. En cambio, se pueden producir cambios de conducta notables al trabajar intensivamente con personas de alto riesgo en cómo usar condones correctamente, cómo hablar con sus parejas sexuales sobre su deseo de protegerse en el sexo y a que reconozcan y eviten situaciones riesgosas.11

¿qué queda por hacer?

Los análisis de costo-efectividad pueden ayudar a determinar cómo salvar el máximo número de vidas con fondos limitados. De no tomarse en cuenta la información sobre estos análisis, se puede malgastar los escasos fondos de prevención y por lo tanto perder la oportunidad de salvar vidas.12 Con este fin, se necesitan modelos más sencillos de costo-efectividad y mejor asistencia técnica para ayudar a quienes toman las decisiones sobre la salud pública a sacar el mejor provecho de ésta información.13

¿quién lo dice?

1. Holtgrave DR, Pinkerton SD. Updates of cost of illness and quality of life estimates for use in economic evaluations of HIV prevention programs. Journal of Acquired Immune Deficiency Syndromes. 1997;16:54-62. 2. Holtgrave DR, Pinkerton SD. The economics of HIV primary prevention. In JL Peterson & RJ DiClemente (eds). Handbook of HIV Prevention. New York: Plenum Press, 2000; 285-296. 3. Centers for Disease Control and Prevention. Mortality slide series.https://www.cdc.gov/hiv/library/slidesets/index.html. 4. Kahn JG. The cost-effectiveness of HIV prevention targeting: how much more bang for the buck? American Journal of Public Health. 1996;86:1709-1712. 5. Pinkerton SD, Johnson-Masotti AP, Holtgrave DR, et al. Using cost-effective league tables to compare interventions to prevent sexual transmission of HIV. AIDS. 2001;15:917-928. 6. Kahn JG. Economic evaluation of primary HIV prevention in intravenous drug users. In Holtgrave DR, ed. Handbook of Economic Evaluation of HIV Prevention Programs. New York:Plenum Press, 1998. 7. Pinkerton SD, Holtgrave DR, Johnson-Masotti AP, et al. Cost-effectiveness of the NIMH Multisite HIV Prevention intervention. AIDS and Behavior. 2002;6:83-96. 8. Wang LY, Davis M, Robin L, et al. Economic evaluation of Safer Choices. Archives of Pediatric and Adolescent Medicine. 200;154:1017-1024. 9. Kahn JG, Kegeles SM, Hays R, et al. Cost-effectiveness of the Mpowerment Project, a community-level intervention for young gay men. Journal of Acquired Immune Deficiency Syndromes. 2001;27:482-491. 10. Marseille EA, Hofmann PB, Kahn JG. HIV prevention should be funded before HAART in Sub-Saharan Africa. Lancet. In press 11. Centers for Disease Control and Prevention. Compendium of HIV Prevention Interventions with Evidence of Effectiveness. November 1999. 12. Institute of Medicine. No time to lose – getting more from HIV prevention. Washington, DC: National Academy Press; 2000. 13. Pinkerton SD, Holtgrave DR. A method for evaluating the economic efficiency of HIV behavioral risk reduction interventions. AIDS & Behavior. 1998;2:189-201.

Otras lecturas:

DR Holtgrave (ed). Handbook of Economic Evaluation of HIV Prevention Programs. New York: Plenum Publishers, 1998. Gold MR, Siegel JE, Russell LB, Weinstein MC (eds). Cost- effectiveness in Health and Medicine. New York: Oxford University Press, 1996.

Preparado por James G. Kahn*, Steven D. Pinkerton**, David R. Holtgrave*** *Institute for Health Policy Studies, UCSF; **Center for AIDS Intervention Research, Medical College of Wisconsin; ***Rollins School of Public Health, Emory University Tradución Rocky Schnaath Abril 2002. Hoja Informativa 12SR

Resource

Evaluation

How does evaluation help in HIV prevention?

what is evaluation?

Most HIV prevention service providers conduct evaluation and data collection activities on a regular basis, although they may not consider it evaluation. Writing case notes during a prevention case management session, discussing client feedback on program services, watching needle exchange in action, taking notes at staff meetings: these are all examples of “informal” data collection that happen every day. The evaluation provides systems for collecting data and then helps providers make sense of the data they collect so that they can use it in their work. Evaluation can help providers increase their knowledge, better understand the populations they serve, improve programs, and make decisions. Evaluation is a way to identify program strengths and areas for improvement.1 It is a way for service providers to be responsible to the communities in which they work, to show accountability to funders, and to ensure that programs have the intended result. Evaluation can be integrated into all phases of planning and implementing an intervention:

  • Before (formative evaluation, needs assessment): To understand the context of the lives of community members and what puts them at risk, how they avoid risk, and what kinds of resources they need to reduce risk and maintain health and wellness. This can help shape the program and provide baseline data to help measure any change.
  • During (process monitoring and evaluation, quality assurance): To find out what actually occurs in practice and if the program is operating as planned; document interactions with participants; discover which components work best and if the program meets the needs of the participants. This can help develop any changes to the program.
  • After (outcome and impact evaluation): To determine what, if any, effect (short and long-term) the program has had on the participants, their partners/families, program staff, and the community. At this time, program staff can reassess their objectives and use findings to further refine their programs.

why do evaluation?

Evaluation can help agencies work more efficiently and improve their programs. It is not a substitute for staff and providers’ experience and knowledge but can offer complementary information. Using systematic data collection to design an intervention or program can help agencies make smart choices about what elements to incorporate and what behaviors, influences, and life issues to address.1 Evaluation can help agencies successfully compete for funds and be precise in seeking funding. Funders often require agencies to show that they have systematically thought through current and proposed interventions.2 Evaluation can also help agency staff know exactly what services best serve their program participants so that they don’t respond to all grant proposals, but only ones that specifically relate to their participants’ needs.1

what’s a good evaluation question?

Good evaluation questions come from well-written program objectives that are both realistic and measurable. When agencies design program activities based on the desired outcome (example: conduct outreach—increase the number of women tested for HIV), forming an evaluation is much easier.3 It is hard to evaluate programs that lack direction. The mark of a good evaluation question is that you care about the answer. Is it more helpful to know the number of condoms handed out in a month, or what clients do with the condoms after they take them? A good question should also be answerable. Many agencies may want to know if their programs are effective, but broad questions like that may require more time, money, and staff than are possible. For example, instead of asking, “Has our agency lowered HIV rates among gay men?” a more helpful and more easily answerable question might be, “Have the men who attended our living room discussion program reduced their use of methamphetamine or increased their use of condoms?”

what are perceptions of evaluation?

A common perception of evaluation is that it is only used by funders to pass judgment, to “prove” that a program worked or failed. It is no wonder that many agencies are wary of the idea of evaluation.4,5 Yet evaluation is a way for providers to know for themselves what works, what doesn’t work, what adjustments might improve their program, and whether what they are doing makes a difference for their clients and community. Another perception of evaluation is that it is often “done to” an agency. However, evaluation can be incorporated into regular program planning and all agency members can be active participants. This strengthens the process and ensures that results will be understood and used. Evaluators, front line staff, representative community members or program participants should be included in all phases: designing evaluation questions, reviewing forms or guides, discussing results, and brainstorming action points.6

how is an evaluation conducted?

There are many ways for agencies to conduct the evaluation. One way is to train staff in evaluation or hire an internal staff person with experience doing research to be in charge of evaluation and data. This approach may work best at a large agency with many resources. For example, AIDS Project Los Angeles’s evaluation team worked with their Commercial Sex Venues (CSV) initiative to design and evaluate risk-reduction activities in nine CSVs in Los Angeles County. Program and evaluation staff collaboratively developed and implemented formative research, pre/post evaluations, outreach forms, program evaluation and an annual needs assessment of patrons. CSV patrons reported decreased unprotected sex in CSVs at a one-year follow-up.7 Another example is for an agency to hire an external evaluator either for a one-time or ongoing evaluation. This approach can be less expensive than hiring a staff person, can build agency capacity to conduct some aspects of evaluation internally, and may be perceived by funders as having less bias than an internal evaluator. Agencies have had both positive and negative experiences with external evaluators. These evaluations are more likely to be successful when there is a strong partnership; agreement about roles, responsibilities, and expectations; and a dedication to collaboration between the evaluator and the agency. When hiring an evaluator, agencies can look for someone with a history of successful collaboration, extensive skills and experience with evaluation in a service setting, and knowledge or experience with the program population.8 A third example is for an agency and a local evaluator to work collaboratively to develop evaluation approaches and build agency capacity. Chicago HIV Prevention and Adolescent Mental Health Project (CHAMP), is a long-term collaboration between researchers at the University of Chicago and parents, schools, and community agencies. Together, they have designed, implemented, and evaluated an HIV prevention program for Black youth and families. The collaboration began in 1995 and continues today.9 As HIV prevention service providers have become more involved in the evaluation, technical assistance, and capacity building assistance (CBA) programs for providers have increased. The Centers for Disease Control and Prevention (CDC) has funded capacity building that integrates program planning, monitoring, and evaluation activities in agencies. A national network of CBA providers builds organizational, HIV prevention program and evaluation capacity in agencies that serve Asian & Pacific Islanders, Latino/as, American Indians/Alaska Natives, and African Americans.10

what still needs to be done?

Without specific time and money set aside, evaluation can get lost in the crisis-oriented world of client services. Agencies should be encouraged to foster an atmosphere of learning along with service provision. Agencies can write evaluation time into job descriptions and allow time for staff to read and discuss what they’ve learned in regular meetings. Funders need to cover all costs related to evaluation so that it can be appropriately staffed. Often-overlooked costs include staff time and training, data entry, data analysis, write-up of findings, and dissemination costs. Making sure that evaluation findings are shared is crucial. Agency staff needs to write about their findings and present them at regional and national conferences. Funders need to share reports with agencies and other funders and synthesize the lessons learned for all their grantees. Health departments can organize regional report-backs and encourage networking among agencies with similar evaluation needs.

Says who?

1. Gandelman AA, DeSantis LM, Rietmeijer CA. Assessing community needs and agency capacity—an integral part of implementing effective evidence-based interventions. AIDS Education and Prevention. 2006;18:32-43. 2. Holtgrave DR, Gilliam A, Gentry D et al. Evaluating HIV prevention efforts to reduce new infections and ensure accountability. AIDS Education and Prevention. 2002;14SA:1- 3. Nu’Man J, King W, Bhalakia A, et al. A framework for building organizational capacity integrating planning, monitoring, and evaluation. Journal of Public Health Management and Practice. 2007;Suppl:S24-32. 4. Kegeles SM, Rebchook GM. Challenges and facilitators to building program evaluation capacity among community-based organizations. AIDS Education and Prevention. 2005;17:284-299. 5. Napp D, Gibbs D, Jolly D, et al. Evaluation barriers and facilitators among community-based HIV prevention programs. AIDS Education and Prevention. 2002;14:38-48. 6. Gilliam A, Davis D, Barrington T, et al. The value of engaging stakeholders in planning and implementing evaluations. AIDS Education and Prevention. 2002;14:5-17. 7. Mutchler M, Colemon L. A model for community-based participatory evaluation: Benefits, challenges, and lessons of evaluating HIV prevention in commercial sex venues. Presented at the 2005 Nat’l HIV Prevention Conf, Atlanta, GA. #M3-D0601. 8. Center for AIDS Prevention Studies. Working Together: A Guide to Collaborative Research in HIV Prevention. 2001. 9. Baptiste DR, Paikoff RL, McKay MM, et al. Collaborating with an urban community to develop an HIV and AIDS prevention program for black youth and families. Behavior Modification. 2005;29:370-416. 10. Taveras S, Duncan T, Gentry D, et al. The evolution of the CDC HIV Prevention Capacity-building Assistance Initiative. Journal of Public Health Management & Practice. 2007;13S:S8-S15.

Evaluation resources:

Manuals

  • Good Questions, Better Answers: A Formative Research Handbook
  • Program Evaluation, NMAC

Researchers

  • Behavioral and Social Science Volunteer Program (BSSV)

Training

  • STD/HIV Prevention Training Centers

Tools

  • AETC National Evaluation Center
  • American Evaluation Association
  • CDC Program Evaluation Resources
  • The Community Toolbox
  • Virtual Program Evaluation Consultant (VPEC)

*All websites accessed 10/2007

Prepared by Dara Coan,* Oscar Macias,* Janet Myers,** Kevin Khamarko*** *San Francisco Public Health Department, **CAPS, ***AETC Evaluation Center December 2007. Fact Sheet #44ER Special thanks to the following reviewers of this fact sheet: Carl Bell, Alice Gandelman, Ellen Goldstein, Carol Kong, Gene Shelley, Stacy Vogan, Duane Wilkerson. Reproduction of this text is encouraged; however, copies may not be sold, and the University of California San Francisco should be cited as the source. Fact Sheets are also available in Spanish. To receive Fact Sheets via e-mail, send an e-mail to [email protected] with the message “subscribe CAPSFS first name last name.” ©December 2007, University of CA.

Resource

Evaluación

¿Cómo ayuda la evaluación en la prevención del VIH?

¿qué es la evaluación?

La mayoría de los proveedores de servicios de prevención del VIH realizan actividades periódicas de evaluación y recolección de datos, aunque tal vez no consideren que sea una evaluación. Tomar notas durante reuniones de manejo de casos de prevención, comentar las opiniones de los clientes sobre los servicios que han recibido, observar un sitio de intercambio de jeringas, tomar notas en juntas del personal: todos son ejemplos de la recolección “informal” de datos que sucede a diario. La evaluación provee sistemas para obtener datos, luego ayuda a los proveedores a entenderlos y aplicarlos en el trabajo. La evaluación puede profundizar los conocimientos de los proveedores, su entendimiento de los grupos poblacionales que sirven, aumentar la eficacia de los programas que ofrecen y las decisiones que se toman. La evaluación es una manera de identificar los puntos programáticos fuertes y débiles1 y facilita que los programas obtengan los resultados que desean. También permite que los proveedores se responsabilicen ante las comunidades en que trabajan y ante las entidades que los financian. La evaluación puede integrarse en todas las fases de planificación y ejecución de una intervención.

  • Antes (evaluación formativa, valoración de necesidades): Para entender el contexto de las vidas de los miembros de la comunidad y lo que los pone en riesgo, cómo evitan el riesgo o qué recursos necesitan para reducirlo y mantener la salud y el bienestar. Esto puede ayudar a darle forma al programa y proveer datos basales que ayuden a medir cualquier cambio.
  • Durante (monitoreo y evaluación del proceso, control de calidad): Para averiguar exactamente qué sucede en la práctica y si el programa opera tal y como fue planeado; para documentar las interacciones con los participantes; para identificar los componentes que sirven mejor y para saber si el programa satisface las necesidades de los participantes. Esta información puede ayudar a desarrollar cambios al programa.
  • Después (evaluación del impacto y los resultados): Para determinar si el programa tuvo algún efecto a corto y a largo plazo sobre los participantes, sus parejas y familias, sobre el personal del programa y la comunidad. En ese momento, el personal puede reevaluar los objetivos del programa y aprovechar los datos obtenidos para refinar más los programas.

¿por qué hay que evaluar?

La evaluación puede aumentar la eficiencia y la calidad de los programas. No sustituye la experiencia ni los conocimientos del personal pero sí puede brindar información complementaria. El uso de datos recolectados sistemáticamente para el diseño de una intervención o programa puede ayudar a tomar decisiones inteligentes sobre qué elementos incorporar y qué conductas, influencias y circunstancias de vida se deben tomar en cuenta.1 La evaluación puede ayudar a las organizaciones a solicitar fondos con mayor éxito, claridad y precisión. Muchos financiadores requieren que los solicitantes demuestren que han pensado sistemáticamente en las intervenciones que brindan actualmente y las que proponen.2 La evaluación también puede ayudar a identificar exactamente qué servicios benefician más a los participantes, lo cual permite que en vez de responder a toda convocatoria de financiación, se trabaje sólo en las que concretamente respondan a las necesidades de los participantes.1

¿cuál es una buena pregunta de evaluación?

Las buenas preguntas de evaluación se derivan de objetivos programáticos bien formulados que sean realistas y medibles. Al diseñar actividades programáticas basadas en un resultado deseado (por ejemplo: realizar extensión comunitaria para aumentar el número de mujeres que reciben la prueba del VIH), es mucho más fácil articular la evaluación.4 Por el contrario, es difícil evaluar programas que carecen de dirección. El indicador de una buena pregunta de evaluación es que a uno le importe la respuesta. ¿Qué es más útil conocer: el número de condones repartidos en un mes, o lo que hacen los clientes después de recibirlos? Asimismo, una pregunta buena también debe poder ser respondida. Muchas organizaciones tal vez quieran saber si sus programas son eficaces, pero estas preguntas tan amplias requieren de más tiempo, dinero y personal de los que disponen. Por ejemplo, en vez de preguntar, “¿Hemos reducido las tasas de VIH entre los hombres homosexuales?” otra pregunta más útil y más fácil de contestar podría ser: “¿Han reducido su consumo de metanfetamina o aumentado su uso de condones los hombres que asistieron a nuestro programa de pláticas grupales?”

¿cuáles son las percepciones?

Una percepción común sobre la evaluación es qué ésta se usa únicamente por financiadores para “comprobar” el éxito o fracaso de los programas. No es de extrañar que muchas organizaciones desconfíen al respecto.4,5 Sin embargo, la evaluación permite que los proveedores descubran por sí mismos qué funciona y qué no, qué ajustes se necesitan para mejorar el programa y si sus servicios están logrando cambios en las vidas de sus usuarios y en la comunidad. Otra percepción es que la evaluación “se le hace a” la organización por alguien ajeno a ésta, cuando en realidad puede incorporarse en la planificación programática con la participación plena de todos los miembros de la propia organización. Esto fortalece el proceso y asegura que los resultados se entiendan y se aprovechen. Los evaluadores, el personal de atención al público, los representantes de la comunidad o participantes del programa deben ser incluidos en todas las fases: el diseño de las preguntas de evaluación, la revisión de formularios o guías y las discusiones sobre resultados y puntos de acción.6

¿cómo se realiza la evaluación?

Las organizaciones pueden realizar la evaluación de muchas maneras. Una es capacitar al personal para que la efectúe o contratar a algún miembro del propio personal con experiencia en investigación para que se encargue de la evaluación y de los datos. Este método puede ser el más apto para una organización grande con muchos recursos. Por ejemplo, el equipo de evaluación del AIDS Project Los Angeles colaboró con la iniciativa Commercial Sex Venues (CSV) para diseñar y evaluar actividades de reducción de riesgos en nueve CSV en el condado de Los Ángeles. El personal del programa y el de evaluación diseñaron e implementaron conjuntamente investigaciones formativas, pre y postevaluaciones, formularios de extensión comunitaria, la evaluación del programa y una valoración anual de las necesidades de los usuarios. Los usuarios de los CSV reportaron una reducción en encuentros sexuales sin protección en el seguimiento realizado un año más tarde.7 Otro ejemplo es que la propia organización contrate a un evaluador externo para que realice este trabajo ya sea una sola vez o en forma continua. Este método puede resultar menos costoso que la contratación de personal de plantilla, puede promover la ejecución de algunos aspectos de la evaluación con recursos internos y puede ser visto por los financiadores como un proceso menos subjetivo que el realizado por un evaluador interno. Las experiencias de las organizaciones con los evaluadores externos han sido positivas y negativas. Estas evaluaciones suelen ser más exitosas cuando existe una colaboración fuerte; concordancia sobre los roles, responsabilidades y expectativas; y una solidaridad absoluta entre el evaluador y la organización. Al contratar a un evaluador, las organizaciones pueden buscar a un profesional con un historial de colaboración exitosa, amplia habilidad y experiencia de evaluación en ambientes de prestación de servicios y conocimientos o experiencia con la población beneficiada por el programa.8 Un tercer ejemplo es la colaboración entre una organización y un evaluador para desarrollar los métodos de evaluación y aumentar la capacidad de la organización. En Chicago, el HIV Prevention and Adolescent Mental Health Project (CHAMP), es una colaboración a largo plazo entre investigadores de la Universidad de Chicago, padres de familia, escuelas y organizaciones comunitarias. Conjuntamente han diseñado, implementado y evaluado este programa de prevención del VIH para jóvenes negros y sus familias. Iniciaron su colaboración en 1995 y la continúan hasta la fecha.9 Los Centros para el Control y Prevención (CDC siglas en inglés) han otorgado fondos para proyectos de fomento de capacidad (CBA en inglés) que integran las actividades de planificación, vigilancia y evaluación programática en las organizaciones. Una red nacional de proveedores CBA fomenta la capacidad organizacional, de prevención del VIH y de evaluación en organizaciones con usuarios asiáticos e isleños del Pacífico, latinos, indígenas americanos, nativos de Alaska y afroamericanos.10

¿qué queda por hacer?

Si no se le asignan tiempo y fondos concretos, la evaluación puede perderse en el mundo de los servicios a usuarios el cual gira en torno a las crisis. Se debe alentar a las organizaciones a promover un ambiente de aprendizaje junto con la provisión de servicios. Las organizaciones pueden incorporar en los perfiles de sus puestos el tiempo necesario para realizar la evaluación y pueden asignar al personal el tiempo necesario para comentar lo que han aprendido en reuniones periódicas. Los financiadores necesitan cubrir todos los gastos relacionados con la evaluación para que ésta cuente con suficiente personal. Con frecuencia se pasa por alto los costos del tiempo y capacitación del personal, el registro de datos, el análisis de datos y la redacción y divulgación del informe sobre los resultados de la evaluación. Es esencial difundir los resultados de la evaluación. El personal de la organización necesita redactar informes sobre los hallazgos y presentarlos en congresos regionales y nacionales. Los financiadores necesitan compartir informes con las organizaciones y con otros financiadores y sintetizar las lecciones aprendidas para todos sus financiados. Los departamentos de salud pueden organizar reuniones regionales para difundir resultados y fomentar vínculos entre organizaciones con necesidades de evaluación similares.

¿Quién lo dice?

1. Gandelman AA, DeSantis LM, Rietmeijer CA. Assessing community needs and agency capacity—an integral part of implementing effective evidence-based interventions. AIDS Education and Prevention. 2006;18:32-43. 2. Holtgrave DR, Gilliam A, Gentry D et al. Evaluating HIV prevention efforts to reduce new infections and ensure accountability. AIDS Education and Prevention. 2002;14SA:1- 3. Nu’Man J, King W, Bhalakia A, et al. A framework for building organizational capacity integrating planning, monitoring, and evaluation. Journal of Public Health Management and Practice. 2007;Suppl:S24-32. 4. Kegeles SM, Rebchook GM. Challenges and facilitators to building program evaluation capacity among community-based organizations. AIDS Education and Prevention. 2005;17:284-299. 5. Napp D, Gibbs D, Jolly D, et al. Evaluation barriers and facilitators among community-based HIV prevention programs. AIDS Education and Prevention. 2002;14:38-48. 6. Gilliam A, Davis D, Barrington T, et al. The value of engaging stakeholders in planning and implementing evaluations. AIDS Education and Prevention. 2002;14:5-17. 7. Mutchler M, Colemon L. A model for community-based participatory evaluation: Benefits, challenges and lessons of evaluating HIV prevention in commercial sex venues. Presented at the 2005 Nat’l HIV Prevention Conf, Atlanta, GA. #M3-D0601. 8. Center for AIDS Prevention Studies. Working Together: A Guide to Collaborative Research in HIV Prevention. 2001. 9. Baptiste DR, Paikoff RL, McKay MM, et al. Collaborating with an urban community to develop an HIV and AIDS prevention program for black youth and families. Behavior Modification. 2005;29:370-416. 10. Taveras S, Duncan T, Gentry D, et al. The evolution of the CDC HIV Prevention Capacity-building Assistance Initiative. Journal of Public Health Management & Practice. 2007;13S:S8-S15. Recursos Manuales

  • A Buenas Preguntas… ¡Mejores Respuestas!: Un manual de investigación formativa, CAPS
  • Evaluacion de Programas, NMAC
  • Manual de Evaluación, Fundación W.K. Kellogg

Herramientas

  • Caja de Herramientas Comunitarias

Preparado por Dara Coan,* Oscar Macias,* Janet Myers,** Kevin Khamarko*** *San Francisco Public Health Department, **CAPS, ***AETC Evaluation Center Traducción: Rocky Schnaath Abril 2008. Hoja de Dato #44SR