Evaluación de programas para jóvenes y educación

Planificación de la evaluación

La planificación es uno de los pasos más críticos de toda la evaluación. 

Crea un plan en cinco sencillos pasos

1. Descripción del programa: ¿Cuál es la esencia del programa? Describe brevemente el programa o proyecto en un par de frases. 

2. Propósito: ¿Por qué realiza la evaluación? Indique por qué dedica tiempo y recursos a realizar una evaluación. 

3. Metas: ¿Cuáles son las metas o resultados de su programa? Estos son los cambios que espera que realice su programa. Los objetivos del programa pueden ser diferentes para cada grupo con el que trabaje. Por ejemplo, es posible que tenga algunas metas para los jóvenes en su programa y otras metas para los voluntarios o el personal.  

4. Enfoque: ¿Cómo vas a realizar la evaluación? Esta es su sección de métodos y no existe un enfoque correcto o incorrecto. Elija lo que se ajuste a su programa y objetivos. Podrías hacer entrevistas o grupos focales. También puede enviar una encuesta a los participantes. Incluso podrías tener varios métodos.

5. Responsabilidad: Asigne personas a cada tarea de evaluación. Puede que haya otras personas involucradas en el proyecto, pero la evaluación necesita una persona clave. Tal vez una persona participe en el diseño de la evaluación y otra en el reclutamiento de participantes.

Resultados de la evaluación

Configure su evaluación para el éxito. 

¿Tus resultados son

• Práctico: ¿puede realmente lograrlos en la cantidad de tiempo que tiene con su público objetivo?
• Acerca del cambio: ¿Están enfocados en cómo los participantes del programa serán diferentes debido al programa?
• Medibles: ¿se te ocurren formas existentes o nuevas de medirlas?
• Claro: ¿puede alguien ajeno a su organización captarlos y comprenderlos?
• Acordado: ¿Existe acuerdo en que se están centrando en las cosas correctas?

Practica el pensamiento evaluativo con estas cinco estrategias

• Conoce tu comunidad: ¿A quién sirve actualmente y a quién podría servir en el futuro? Tómese el tiempo para evaluar las fortalezas y necesidades de su comunidad y cómo su programa podría aprovechar los activos y brindar apoyo en las áreas necesarias.
• Comience con el panorama general: ¿Cuál es la visión de su programa? ¿Cuál es el impacto final que espera tener en su comunidad? ¿Cómo desea que las vidas de los jóvenes, sus familias y la sociedad sean diferentes debido a la participación de los jóvenes en su programa?
• Defina sus resultados: ¿Cuáles son los objetivos o resultados de su programa? Estos son los cambios que usted espera que su programa genere en los jóvenes, las familias y la comunidad. ¿Qué quieres que aprendan los jóvenes? ¿Cómo quieres que se comporten de manera diferente debido a lo que aprenden? ¿Y cómo contribuirá esto al cambio en el entorno más amplio?
• Reflexione temprano y con frecuencia: Solicite comentarios de sus participantes a lo largo de su programa, no solo al final. Utilice respuestas y observaciones para realizar cambios durante la ejecución del programa que lo mantendrán encaminado para lograr los resultados que estableció para su programa.
• Evaluar: Al final del programa, vuelva al panorama general y a sus resultados. Utilice datos de retroalimentación y medición para mejorar su programa. 

Capacitación Especializada

Realice este breve entrenamiento para obtener más detalles sobre cómo desarrollar resultados en su programa.

Ideas para la planificación de programas

Escuche este episodio del podcast del Departamento de Desarrollo Juvenil para obtener ideas sobre cómo iniciar una programación nueva y creativa. 

Evite la evaluación de caras sonrientes

Deja de lado tu video de encuestas con caritas sonrientes (Kaltura MediaSpace)

Estrategias creativas de evaluación

¿Quiere recopilar datos de evaluación de los jóvenes pero no quiere realizar otra encuesta?

• Vea este breve video (Kaltura MediaSpace) para aprender algunas estrategias de evaluación creativas para usar con jóvenes.

Cinco pasos para mejorar la evaluación de los jóvenes

1. Conozca a su audiencia: descubra más detalles sobre el grupo, incluido el nivel académico, la capacidad de atención y cómo han participado en la evaluación en el pasado. Los jóvenes son evaluados todo el tiempo, por lo que es necesario decirles por qué es importante la evaluación.
2. Obtener aprobación: Consentimiento de los padres; consentimiento de la juventud. Informe a los padres que está haciendo la evaluación. Los jóvenes menores de 18 años no pueden dar su consentimiento legal por sí mismos, pero déles el poder de elegir ser parte de su evaluación. Su participación no debe estar ligada a su participación continua en el programa.
3. Piense en el nivel de lectura: el nivel de lectura no siempre está vinculado al grado. Si estás trabajando con un grupo típico de 4^th estudiantes de grado, se puede esperar que la mitad lea por debajo del nivel de grado. Haga sus preguntas lo más fáciles posible para que todos puedan entenderlas. Utilice una calculadora de legibilidad para probar el nivel de lectura. Si los jóvenes tienen dificultades, léalo por ellos.
4. Prepárese para explicar: la evaluación no es como la realización de exámenes estandarizados. Tómese el tiempo para asegurarse de que los jóvenes comprendan y permítales hacer preguntas en todo momento. Si su encuesta contiene preguntas escaladas, asegúrese de que comprendan la escala de calificación.
5. Pruébelo: pruebe las preguntas con anticipación. ¿Entienden los jóvenes? ¿Qué no tiene sentido? Dígales: "Piense en los niños de su edad y avíseme cuando llegue a una pregunta o punto que no tendría sentido para alguien de su edad". De esta manera no tienen que decir que están confundidos, pueden responder por un amigo.

¿Qué es un grupo focal?

Originalmente llamado "entrevistas enfocadas" o "entrevistas grupales en profundidad", un grupo focal es una discusión planificada dirigida por un moderador que guía a un pequeño grupo de participantes a través de un conjunto de preguntas cuidadosamente secuenciadas (enfocadas) en una conversación permisiva y no amenazante. El objetivo no es llegar a un acuerdo sino obtener información de los participantes sobre el tema de discusión.

Un grupo focal suele estar formado por cinco a ocho personas que han sido cuidadosamente reclutadas. Estos participantes se seleccionan porque tienen ciertas características en común que se relacionan con el tema del grupo focal. La discusión grupal se puede realizar varias veces con tipos similares de participantes para identificar tendencias y patrones en las percepciones. Un análisis cuidadoso y sistemático de las discusiones puede proporcionar pistas e ideas sobre cómo el grupo percibe un programa, producto, servicio u oportunidad.

Si bien los grupos focales son una metodología excelente para cumplir muchos objetivos de investigación y evaluación, hay momentos en que se deben utilizar y en ocasiones no.

Cinco claves para un diseño eficaz de grupos focales

1. Decida si los grupos focales son apropiados: determine si los grupos focales son un método de recopilación de datos apropiado y eficiente para sus necesidades. Consulte las secciones "cuándo utilizar y no utilizar grupos focales" en el sitio web para obtener ideas.
2. Aclare el propósito del estudio: decida qué tipos de información desea obtener a través del estudio y qué hará con ella. Tener un propósito claro simplifica la planificación, la conducción de los grupos, el análisis y la presentación de informes.
3. Elija a sus participantes con cuidado y mantenga su grupo razonable: los grupos focales utilizan una muestra homogénea y decidida compuesta de participantes "ricos en información". Al comenzar a planificar, determine qué tipos de personas deberían invitarse a su sesión. Sólo se debe invitar a personas que tengan algo en común relacionado con los objetivos de su estudio. Si bien el tamaño del grupo puede variar, la cantidad de personas en un grupo focal nunca debe ser más de 12.
4. Mantenga sus preguntas enfocadas: las preguntas utilizadas en una entrevista de grupo focal deben secuenciarse cuidadosamente para que se centren cada vez más específicamente en el tema del estudio. En otras palabras, las preguntas deben dirigir progresivamente a los participantes a discutir el tema con mayor detalle y profundidad. Escriba sus preguntas para que sean conversacionales y fáciles de entender.
5. Encuentre un moderador hábil y un moderador asistente: la eficacia del moderador del grupo focal es la clave para un grupo focal exitoso. El trabajo del moderador es mantener al grupo “concentrado” y generar una discusión animada y productiva. Además de poder planificar el grupo, el moderador debe tener habilidades efectivas de liderazgo y comunicación, ya que deberá reconocer cómo obtener aportes equilibrados de un grupo diverso de personas. Es importante que también cuente con un moderador asistente, quien puede ayudar cuidando los detalles y asegurando la calidad del análisis tomando notas cuidadosas, resumiendo la discusión al final y actuando como un par de ojos y oídos más para el análisis.

Cuándo utilizar grupos focales

• Profundizar en los problemas identificados a través de un estudio cuantitativo más amplio. Los grupos focales son útiles cuando el objetivo es generar una explicación. Si se identifica una cuestión o problema en un estudio cuantitativo y desea información adicional sobre por qué es una cuestión o problema, un grupo focal ofrece una vía para recopilar esta información a un costo asequible.
• Para realizar pruebas piloto de cosas, como ideas, campañas, encuestas o productos. Los grupos focales se pueden utilizar para obtener reacciones a los planes antes de que se gasten grandes cantidades de dinero en su implementación.
• Evaluar programas o productos. Los grupos focales son útiles para descubrir si los programas y productos están funcionando y cómo podrían mejorarse.

Cuándo no utilizar grupos focales

• Para tomar decisiones importantes. Si bien los grupos focales pueden proporcionar una gran cantidad de ideas y comentarios sobre percepciones y opiniones, los datos cualitativos carecen de precisión estadística. Los grupos focales funcionan bien en consonancia con un estudio cuantitativo, pero no deben utilizarse en lugar de un estudio cuantitativo cuando hay mucho en juego.
• Si necesita generalizar resultados a una población grande o se requieren datos estadísticos. Los participantes de un grupo focal suelen ser representativos de la población, pero no necesariamente son una muestra estadísticamente representativa de la población. Los tamaños de muestra suelen ser demasiado pequeños para sacar conclusiones estadísticas sobre una población grande.
• Ahorrar tiempo y dinero en el proceso de recogida de datos. Un mito común sobre los grupos focales es que son una forma rápida y económica de recopilar datos. Los grupos focales, al igual que otras metodologías, requieren una gran cantidad de planificación y esfuerzo para ser eficaces. Si bien la reunión en sí puede durar sólo 1 o 2 horas, se necesita tiempo para crear un conjunto eficaz de preguntas, localizar a los participantes adecuados y entender los datos que proporcionan. Es especialmente probable que el reclutamiento y el análisis sean costosos y requieran mucho tiempo, a menos que los participantes ya estén presentes y los objetivos del proyecto sean muy limitados y directos.
• Si una discusión grupal no es un foro apropiado. El objetivo básico al realizar grupos focales es escuchar a los participantes sobre los temas de interés para el evaluador. Esto significa que los grupos focales no son una opción viable a menos que podamos componer y dirigir grupos de manera que permitan a los participantes expresar sus puntos de vista.
• Si el tema no es apropiado para los participantes. La coincidencia entre los temas de interés de los evaluadores y la capacidad de los participantes para discutir esos temas es esencial para el éxito de los grupos focales. Para evaluar esta coincidencia durante las etapas de planificación, formule la pregunta básica: "¿Qué tan fácil será generar una conversación fluida y productiva sobre este tema?"

Crea mejores encuestas

Vídeo sobre buenos y malos diseños de encuestas (Kaltura MediaSpace)

¿Deberías enviar una encuesta?

• ¿Se ajusta un método de encuesta a sus preguntas? Puede que haya mejores formas de recopilar sus datos. No tengas miedo de ser creativo.
• ¿Su audiencia responderá mediante una encuesta? Piensa en cosas obvias como si saben leer. ¿Confían en usted lo suficiente como para brindarles comentarios honestos? ¿Están sufriendo de fatiga en las encuestas?
• ¿Puedes hacer llegar una encuesta a tu audiencia? Las encuestas se pueden realizar en línea o en persona. ¿Qué funciona mejor para su programa?
• ¿Cómo planea utilizar los datos? No envíe la encuesta hasta que haya pensado en el uso de los datos.

Consideraciones clave para desarrollar encuestas efectivas

• Defina su propósito: ¿Cuál es el propósito de la encuesta? ¿Qué información se necesita para cumplir con este propósito? ¿Cómo apoya el modo de administración la naturaleza de la información necesaria?
• Conoce a tu audiencia: ¿Quién es la población prevista? ¿Qué características especiales tienen que deberán considerarse durante el diseño de la encuesta?
• Encuentra las palabras adecuadas: El lenguaje debe ser sencillo y libre de jerga y términos técnicos. Se deben evitar opciones redactadas negativamente e inconsistentes, así como elementos que sugieran una respuesta liderando o cargando.
• Haga las preguntas personales al final: Las preguntas deben ordenarse para permitir que aumenten en complejidad y dejar las preguntas sensibles y la información demográfica para el final. Utilice una progresión lógica en el diseño de la encuesta, organizándola por temas y utilizando encabezados de sección para guiar a los encuestados. Los elementos con categorías de respuesta similares se pueden agrupar para crear una batería de preguntas.
• Conéctate con tu audiencia: Establezca confianza con los participantes siendo claros sobre el propósito y los resultados de la encuesta. Ayude a aliviar la carga de completar la encuesta garantizando la confidencialidad y limitando los costos para los participantes (como minimizar el tiempo necesario para completar la encuesta y aumentar la accesibilidad (es decir, múltiples modos de entrega que incluyen: (en línea, por teléfono, correo, etc.)) .

Maximizar la experiencia del personal para implementar la evaluación

Desarrolle habilidades en toda su organización con estos cinco consejos para desarrollar la capacidad de evaluación.

• Construya el equipo: conozca a los miembros de su equipo y aproveche sus fortalezas. ¿Quién en su equipo es observador por naturaleza o quién en su equipo tiene opiniones firmes? ¿Quién piensa en cómo diseñan y planifican las actividades? Dígale a su grupo que aporte sus fortalezas al proceso de evaluación.
• Haga las preguntas correctas: su equipo se verá tentado a decidir directamente qué tipo de encuesta realizará y qué preguntas hará. Cuando se pasa directamente a los métodos, se pierden algunos de los pasos más importantes del proceso de evaluación. Detente y piensa: ¿Por qué estás haciendo una evaluación? Que quieres aprender? ¿Cómo utilizarás los datos? ¿A quién más le importan los datos?
• Conéctese al diseño: incorpore la evaluación a su programa desde la etapa de diseño. Documente los resultados de su programa y cómo planea evaluarlos. El personal del programa estará más comprometido si puede ver la conexión entre la evaluación y las mejoras en el programa.
• Llame a un experto: su equipo podría satisfacer todas sus necesidades de evaluación. Si está estancado o necesita una perspectiva externa, busque la opinión de un evaluador. Un evaluador puede dar consejos críticos y detectar problemas en las primeras etapas del proceso.
• Involucre a los participantes: obtenga energía de los participantes en sus programas, tanto jóvenes como adultos. Tres grandes beneficios de involucrar a los participantes son: una mayor inversión del personal del programa, preguntas y medidas de evaluación fundamentadas y un mejor uso de los hallazgos de la evaluación.

Visualización de datos

Mira este video (Kaltura MediaSpace) para aprender tres maneras sencillas de visualizar sus datos de evaluación.