Filtering by
- All Subjects: Evaluation
- All Subjects: Resilience (Ecology)
- All Subjects: Effective teaching--United States--Evaluation.
- Creators: Berisha, Vjollca
- Status: Published
This study examines validity evidence of a state policy-directed teacher evaluation system implemented in Arizona during school year 2012-2013. The purpose was to evaluate the warrant for making high stakes, consequential judgments of teacher competence based on value-added (VAM) estimates of instructional impact and observations of professional practice (PP). The research also explores educator influence (voice) in evaluation design and the role information brokers have in local decision making. Findings are situated in an evidentiary and policy context at both the LEA and state policy levels.
The study employs a single-phase, concurrent, mixed-methods research design triangulating multiple sources of qualitative and quantitative evidence onto a single (unified) validation construct: Teacher Instructional Quality. It focuses on assessing the characteristics of metrics used to construct quantitative ratings of instructional competence and the alignment of stakeholder perspectives to facets implicit in the evaluation framework. Validity examinations include assembly of criterion, content, reliability, consequential and construct articulation evidences. Perceptual perspectives were obtained from teachers, principals, district leadership, and state policy decision makers. Data for this study came from a large suburban public school district in metropolitan Phoenix, Arizona.
Study findings suggest that the evaluation framework is insufficient for supporting high stakes, consequential inferences of teacher instructional quality. This is based, in part on the following: (1) Weak associations between VAM and PP metrics; (2) Unstable VAM measures across time and between tested content areas; (3) Less than adequate scale reliabilities; (4) Lack of coherence between theorized and empirical PP factor structures; (5) Omission/underrepresentation of important instructional attributes/effects; (6) Stakeholder concerns over rater consistency, bias, and the inability of test scores to adequately represent instructional competence; (7) Negative sentiments regarding the system's ability to improve instructional competence and/or student learning; (8) Concerns regarding unintended consequences including increased stress, lower morale, harm to professional identity, and restricted learning opportunities; and (9) The general lack of empowerment and educator exclusion from the decision making process. Study findings also highlight the value of information brokers in policy decision making and the importance of having access to unbiased empirical information during the design and implementation phases of important change initiatives.
Preventing heat-associated morbidity and mortality is a public health priority in Maricopa County, Arizona (United States). The objective of this project was to evaluate Maricopa County cooling centers and gain insight into their capacity to provide relief for the public during extreme heat events. During the summer of 2014, 53 cooling centers were evaluated to assess facility and visitor characteristics. Maricopa County staff collected data by directly observing daily operations and by surveying managers and visitors. The cooling centers in Maricopa County were often housed within community, senior, or religious centers, which offered various services for at least 1500 individuals daily. Many visitors were unemployed and/or homeless. Many learned about a cooling center by word of mouth or by having seen the cooling center’s location. The cooling centers provide a valuable service and reach some of the region’s most vulnerable populations. This project is among the first to systematically evaluate cooling centers from a public health perspective and provides helpful insight to community leaders who are implementing or improving their own network of cooling centers.
For the first part of the analysis, the author collected and analyzed documents and field notes related to the teacher evaluation system at one urban middle school. The analysis included official policy documents, official White House speeches and press releases, evaluation system promotional materials, evaluator training materials, and the like. For the second part of the analysis, she interviewed teachers and their evaluators at the local middle school in order to understand how the participants had embodied the market-based discourse to define themselves as teachers and qualify their practice, quality, and worth accordingly.
The findings of the study suggest that teacher evaluation policies, practices, and instruments make possible a variety of techniques, such as numericization, hierarchical surveillance, normalizing judgments, and audit, in order to first make teachers objects of knowledge and then act upon that knowledge to manage teachers' conduct. The author also found that teachers and their evaluators have taken up this discourse in order to think about and act upon themselves as responsibilized subjects. Ultimately, the author argues that while much of the attention related to teacher evaluations has focused on the instruments used to measure the construct of teacher quality, that teacher evaluation instruments work in a mutually constitutive ways to discursively shape the construct of teacher quality.
En la zona metropolitana de Phoenix, el calor urbano está afectando la salud, la seguridad y la economía y se espera que estos impactos empeoren con el tiempo. Se prevé que el número de días por encima de 110˚F aumentará más del doble para el 2060. En mayo de 2017, The Nature Conservancy, el Departamento de Salud Pública del condado de Maricopa, Central Arizona Conservation Alliance, la Red de Investigación en Sostenibilidad sobre la Resiliencia Urbana a Eventos Extremos, el Centro de Investigación del Clima Urbano de Arizona State University y el Center for Whole Communities lanzaron un proceso participativo de planificación de acciones contra el calor para identificar tanto estrategias de mitigación como de adaptación a fin de reducir directamente el calor y mejorar la capacidad de los residentes para lidiar con el calor. Las organizaciones comunitarias con relaciones existentes en tres vecindarios seleccionados para la planificación de acciones contra el calor se unieron más tarde al equipo del proyecto: Phoenix Revitalization Corporation, RAILMesa y Puente Movement. Más allá de construir un plan de acción comunitario contra el calor y completar proyectos de demostración, este proceso participativo fue diseñado para desarrollar conciencia, iniciativa y cohesión social en las comunidades subrepresentadas. Asimismo el proceso de planificación de acciones contra el calor fue diseñado para servir como modelo para esfuerzos futuros de resiliencia al calor y crear una visión local, contextual y culturalmente apropiada de un futuro más seguro y saludable. El método iterativo de planificación y participación utilizado por el equipo del proyecto fortaleció las relaciones dentro y entre los vecindarios, las organizaciones comunitarias, los responsables de la toma de decisiones y el equipo núcleo, y combinó la sabiduría de la narración de historias y la evidencia científica para comprender mejor los desafíos actuales y futuros que enfrentan los residentes durante eventos de calor extremo. Como resultado de tres talleres en cada comunidad, los residentes presentaron ideas que quieren ver implementadas para aumentar su comodidad y seguridad térmica durante los días de calor extremo.
Como se muestra a continuación, las ideas de los residentes se interceptaron en torno a conceptos similares, pero las soluciones específicas variaron entre los vecindarios. Por ejemplo, a todos los vecindarios les gustaría agregar sombra a sus corredores peatonales, pero variaron las preferencias para la ubicación de las mejoras para dar sombra. Algunos vecindarios priorizaron las rutas de transporte público, otros priorizaron las rutas utilizadas por los niños en su camino a la escuela y otros quieren paradas de descanso con sombra en lugares clave. Surgieron cuatro temas estratégicos generales en los tres vecindarios: promover y educar; mejorar la comodidad/capacidad de afrontamiento; mejorar la seguridad; fortalecer la capacidad. Estos temas señalan que existen serios desafíos de seguridad contra el calor en la vida diaria de los residentes y que la comunidad, los negocios y los sectores responsables de la toma de decisión deben abordar esos desafíos.
Los elementos del plan de acción contra el calor están diseñados para incorporarse a otros esfuerzos para aliviar el calor, crear ciudades resilientes al clima y brindar salud y seguridad pública. Los socios de implementación del plan de acción contra el calor provienen de la región de la zona metropolitana de Phoenix, y se brindan recomendaciones para apoyar la transformación a una ciudad más fresca.
Para ampliar la escala de este enfoque, los miembros del equipo del proyecto recomiendan a) compromiso continuo e inversiones en estos vecindarios para implementar el cambio señalado como vital por los residentes, b) repetir el proceso de planificación de acción contra el calor con líderes comunitarios en otros vecindarios, y c) trabajar con las ciudades, los planificadores urbanos y otras partes interesadas para institucionalizar este proceso, apoyando las políticas y el uso de las métricas propuestas para crear comunidades más frescas.
