APRUEBA LA METODOLOGÍA DE ORDENACIÓN DE TODOS LOS ESTABLECIMIENTOS EDUCACIONALES RECONOCIDOS POR EL ESTADO, CONFORME A LO DISPUESTO EN EL INCISO CUARTO DEL ARTÍCULO 17 DE LA LEY Nº 20.529
Núm. 17.- Santiago, 9 de enero de 2014.- Considerando:
Que, de acuerdo a lo establecido en el inciso cuarto del artículo 17 de la Ley Nº 20.529, la Agencia de Calidad de la Educación determinará la metodología de ordenación de los establecimientos educacionales reconocidos por el Estado, previo informe del Consejo Nacional de Educación;
Que, el Consejo de la Agencia de Calidad de la Educación aprobó, a través de su Acta Nº 40, de 13 de mayo de 2013, la presente metodología de ordenación;
Que, el Consejo Nacional de Educación, a través del oficio ord. Nº 552, de 12 de diciembre de 2013, de su Secretaria Ejecutiva, informó a la Agencia de Calidad de la Educación sobre la metodología de ordenación de establecimientos educacionales reconocidos por el Estado, conforme a lo dispuesto en el inciso cuarto del artículo 17 de la ley Nº 20.529;
Que, el mencionado artículo 17, inciso 4º, también establece que la metodología de ordenación deberá ser aprobada por decreto supremo del Ministerio de Educación;
Que, el Secretario Ejecutivo de la Agencia de Calidad de la Educación, mediante el oficio reservado Nº 1, de 7 de enero de 2014, remitió la metodología de ordenación de los establecimientos educacionales reconocidos por el Estado, y solicitó la dictación del decreto supremo que la apruebe; y
Visto: Lo dispuesto en los artículos 32 Nº 6 y 35 de la Constitución Política de la República de Chile; en la Ley Nº 18.956, que reestructura el Ministerio de Educación Pública; en la Ley Nº 20.529, que establece el Sistema Nacional de Aseguramiento de la Calidad de la Educación Parvularia, Básica y Media y su Fiscalización; en el decreto con fuerza de ley Nº 2, de 2009, del Ministerio de Educación, que fija el texto refundido, coordinado y sistematizado de la ley Nº 20.370 con las normas no derogadas del decreto con fuerza de ley Nº 1, de 2005, del Ministerio de Educación; en el decreto supremo Nº 129, de 2013, del Ministerio de Educación; en el decreto supremo Nº 381, de 2013, del Ministerio de Educación; en el Acta Nº 40, de 13 de mayo de 2013, del Consejo de la Agencia de Calidad de la Educación; en el oficio ord. Nº 552, de 12 de diciembre de 2013, de la Secretaria Ejecutiva del Consejo Nacional de Educación; en el oficio reservado Nº 1, de 7 de enero de 2014, del Secretario Ejecutivo de la Agencia de Calidad de la Educación; y en la resolución Nº 1.600, de 2008, de la Contraloría General de la República.
Decreto:
Artículo 1º: Apruébase la metodología de ordenación de todos los establecimientos educacionales reconocidos por el Estado, conforme a lo dispuesto en el inciso cuarto del artículo 17 de la ley Nº 20.529, cuyo texto se contiene en el presente decreto:
METODOLOGÍA DE ORDENACIÓN DE ESTABLECIMIENTOS
Contenido del decreto supremo
Agencia de Calidad de la Educación
enero de 2014
IMPORTANTE
En el presente documento se utilizan de manera inclusiva términos como "el docente", "el estudiante", "el profesor", "el alumno", "el compañero" y sus respectivos plurales (así como otras palabras equivalentes en el contexto educativo) para referirse a hombres y mujeres.
Esta opción obedece a que no existe acuerdo universal respecto de cómo aludir conjuntamente a ambos sexos en el idioma español, salvo usando "o/a", "los/las" y otras similares, y ese tipo de fórmulas supone una saturación gráfica que puede dificultar la comprensión de la lectura.
Índice
I. Marco legal y requisitos de la Ordenación
1. Exigencias legales a la ordenación de establecimientos y consecuencias de su aplicación
2. Requisitos de los indicadores y variables
3. Otras definiciones requeridas en la ley para aplicar la metodología de ordenación
II. Indicadores y variables de la metodología de Ordenación
1. Definición y construcción de indicadores y variables
2. Reglas comunes para la construcción de indicadores y variables
3. Tratamiento de datos faltantes en la metodología de ordenación
III. Etapas de la metodología de Ordenación
1. Etapa 1: Construcción de índice sin corregir
2. Etapa 2: Corrección por características de los alumnos
3. Etapa 3: Clasificación intermedia de establecimientos en cuatro categorías de desempeño según índice final
4. Etapa 4: Clasificación definitiva de establecimientos posterior a la aplicación de filtros
5. Procedimiento para determinar el grado de cumplimiento de los estándares de aprendizaje señalado en el artículo 31 de la ley SNAC
Presentación
La metodología de Ordenación de Establecimientos se inscribe dentro de las exigencias contenidas en la Ley General de Educación (Ley Nº 20.370, LGE) promulgada en 2009, y en la ley que establece el Sistema Nacional de Aseguramiento de la Calidad de la Educación Parvularia, Básica y Media y su Fiscalización (Ley Nº 20.529, en adelante también referida como ley SNAC), promulgada el año 2011.
Este documento presenta la metodología de Ordenación con la que la Agencia debe clasificar a los establecimientos en cuatro categorías: Alto, Medio, Medio-Bajo e Insuficiente, sobre la base de una evaluación integral de los resultados obtenidos por sus alumnos. Este procedimiento considera los resultados de aprendizaje de los alumnos evaluados mediante las pruebas SIMCE, la distribución de los resultados de los alumnos en relación con los Estándares de Aprendizaje, indicadores de progreso, y el grado de cumplimiento de los Otros Indicadores de Calidad Educativa aprobados por el Consejo Nacional de Educación. Además de estos resultados, la metodología de Ordenación considera el contexto de cada establecimiento, caracterizado por variables sociodemográficas de los estudiantes, con el fin de asegurar una comparación y evaluación justa de los resultados, resguardando también el derecho a una educación de calidad a todos los niños, niñas y jóvenes de nuestro país.
I. MARCO LEGAL Y REQUISITOS DE LA ORDENACIÓN
1. Exigencias legales a la ordenación de establecimientos y consecuencias de su aplicación
A continuación se presentan aspectos generales de los objetivos y exigencias a la metodología de Ordenación de establecimientos educacionales definidos en la ley SNAC. En este cuerpo legal se especifica el objetivo, características y consecuencias de esta evaluación.
1.1 Objetivos y exigencias generales de la Ordenación
a) Debe responsabilizar e identificar necesidades de apoyo
La finalidad de la Ordenación es responsabilizar a los establecimientos y sus sostenedores del cumplimiento de los aprendizajes de los estudiantes y del logro de los Otros Indicadores de Calidad Educativa. Asimismo, se establece que la Ordenación tiene entre otros objetivos el de identificar cuando corresponda las necesidades de apoyo (ley SNAC, art. 3º y art. 10).
b) Debe realizarse anualmente y de manera independiente para básica y media
La Ordenación de establecimientos se lleva a cabo de manera anual. Los establecimientos que imparten educación básica y media serán ordenados por cada nivel de enseñanza en forma independiente (ley SNAC, art. 18).
c) Debe realizarse de manera obligatoria
Se debe ordenar a todos los establecimientos que cuentan con el reconocimiento oficial del Ministerio de Educación y que imparten educación media y/o básica. Se excluye de esta medida a establecimientos de educación parvularia y a aquellos que imparten educación especial (ley SNAC, art. 21).
d) Debe establecer cuatro categorías
Como resultado de esta Ordenación, los establecimientos educacionales serán clasificados en cuatro categorías (ley SNAC, art. 17):
- Establecimientos Educacionales de Desempeño Alto
- Establecimientos Educacionales de Desempeño Medio
- Establecimientos Educacionales de Desempeño Medio-Bajo
- Establecimientos Educacionales de Desempeño Insuficiente
e) Debe ser elaborada mediante un procedimiento técnico
La Agencia de Calidad determinará el procedimiento técnico con el que se ponderará el cumplimiento de los Estándares de Aprendizaje y de los Otros Indicadores de Calidad (ley SNAC, art. 18).
La metodología de Ordenación determinada por la Agencia de Calidad debe ser aprobada por decreto supremo del Ministerio de Educación, previo informe del Consejo Nacional de Educación (ley SNAC, art. 17).
f) Debe tener una vigencia definida
La ley establece que la metodología debe actualizarse en un plazo no inferior a cuatro años y que no exceda de ocho (ley SNAC art. 17, inciso 4º).
1.2 Exigencias específicas a la metodología de Ordenación
A continuación se presentan aspectos que debe cumplir la metodología de Ordenación de establecimientos según lo estipulado en la ley SNAC.
a) Indicadores y variables que debe considerar la Ordenación
De acuerdo con la normativa, para llevar a cabo la Ordenación, la Agencia deberá considerar: (1) los resultados de aprendizaje de todas las áreas evaluadas censalmente en las mediciones nacionales; (2) la distribución de los resultados de los alumnos en relación con los Estándares de Aprendizaje; (3) el grado de cumplimiento de los Otros Indicadores de Calidad Educativa; (4) las características de los alumnos del establecimiento educacional, incluida su vulnerabilidad; e (5) indicadores de progreso o de valor agregado, en caso de que sea factible (ley SNAC, art. 17, inciso 3º).
Respecto de lo anterior, la ley señala que la Ordenación propenderá a ser realizada de manera independiente de las características socioeconómicas de los alumnos, en la medida que el sistema corrija las diferencias en su desempeño atribuibles a dichas características (ley SNAC, art. 17).
b) Cumplimiento de criterios y requisitos
De acuerdo con la ley SNAC, los indicadores y variables considerados en la metodología de Ordenación, y sus mediciones, deben cumplir con los siguientes criterios y requisitos.
i. Deben utilizarse instrumentos y procedimientos
estandarizados, válidos, confiables, objetivos
y transparentes
Las mediciones del grado de cumplimiento
de Resultados de Aprendizaje y de los Otros
Indicadores de Calidad Educativa que
realizará la Agencia deben hacerse
mediante instrumentos y procedimientos
estandarizados, válidos, confiables,
objetivos y transparentes (ley SNAC,
art. 11).
ii. Deben utilizarse instrumentos de aplicación
censal y periódica
Los instrumentos usados para la medición
del cumplimiento de los Estándares de
Aprendizaje deben aplicarse en forma
periódica, en distintos cursos
y sectores de aprendizaje1; dicha
aplicación debe ser censal, a lo menos
en algún curso, tanto del nivel de
enseñanza básica como de enseñanza media
(ley SNAC, art. 11).
iii. Deben considerarse dos o tres mediciones
válidas consecutivas
En la Ordenación de establecimientos se
deben considerar tres mediciones
consecutivas válidas, cuando son
anuales, y dos mediciones, cuando
se realizan cada dos años o más
(ley SNAC, art. 18).
iv. Deben respetar la libertad de enseñanza
y el derecho a la educación
Los indicadores considerados en la
metodología de Ordenación deben
resguardar el derecho a la educación
y a la libertad de enseñanza y
respetar los principios de la educación
establecidos en el art. 3º de la LGE
(ley SNAC, art. 17).
-------------------------------------------------------------------
1 En este documento, se utiliza indistintamente el término "grado" en reemplazo de "curso", y "asignatura" o "área evaluada" en reemplazo de "sectores de aprendizaje".
c) Ponderación de los Estándares de
Aprendizaje y los demás indicadores
De acuerdo con la ley SNAC, la Ordenación
no podrá dar una ponderación inferior al
67% a los Estándares de Aprendizaje
(ley SNAC, art. 18), por lo tanto, el peso
que se puede otorgar a los Otros
Indicadores de Calidad Educativa y a
los demás indicadores considerados en la
metodología de Ordenación que elabore la
Agencia es de un máximo de 33%.
d) Ordenación de escuelas pequeñas
En la ley se establece el diseño de una
metodología específica para las escuelas
pequeñas para resguardar la validez de la
categorización de los establecimientos
con un número de alumnos reducido. En
estos casos, la ley señala: "(...) el
Ministerio de Educación establecerá la
metodología que permita una ordenación
pertinente, considerando, entre otros
factores, un número mayor de mediciones
consecutivas que para el resto de los
establecimientos educacionales, tanto para
los estándares de aprendizaje como para
los otros indicadores de la calidad
educativa. Dicha metodología será
aprobada por decreto supremo del
Ministerio de Educación" (ley
SNAC, art. 18).
e) Ordenación de establecimientos nuevos
La ley estipula que los establecimientos
que ingresen al sistema educativo en el
transcurso de los años en que se
implementará la metodología de Ordenación
serán ordenados, temporalmente, en la
categoría Desempeño Medio-Bajo hasta que
cumplan con los requisitos legales para
ser ordenados (ley SNAC, art. 18).
1.3 Consecuencias de la Ordenación de establecimientos
En este apartado se presentan las consecuencias asociadas a la Ordenación de establecimientos, reguladas por la ley SNAC, las que están relacionadas con la difusión de la información, la asignación de apoyo a los establecimientos y las medidas especiales para los establecimientos educacionales ordenados en la categoría Desempeño Insuficiente.
a) Difusión de los resultados de la Ordenación
La ley establece que se deben difundir a la comunidad los resultados de la Ordenación: "La Agencia dará a conocer y otorgará amplia difusión a los resultados de aprendizaje de los alumnos referidos a los objetivos generales señalados en la ley y sus respectivas bases curriculares, así como a los resultados que arrojen los otros indicadores de la calidad educativa, y la Ordenación que de ello se derive, al Ministerio de Educación, a los padres y apoderados, y a la comunidad educativa" (ley SNAC, art. 20).
Respecto de los sostenedores, la ley indica que la resolución anual de las categorías en que han sido ordenados los establecimientos debe ser notificada a estos en forma personal o mediante carta certificada (ley SNAC, art. 19).
En cuanto a la información dirigida a padres y apoderados, la ley señala que debe ser comprensible y comparable en el tiempo. También se indica que se debe incluir información acerca de establecimientos de la comuna y comunas más cercanas. De igual forma, se exige disponibilidad completa en la página web de la Agencia de la categorización anual de todos los establecimientos del país. Finalmente, se precisa que será responsabilidad de cada establecimiento informar a padres y apoderados y al Consejo Escolar de la categoría en que ha sido ordenado (ley SNAC, art. 20). La ley enfatiza la importancia de la entrega de información, a padres y apoderados, de los resultados de los establecimientos ordenados en la categoría Desempeño Insuficiente.
b) Incorporación al Registro Público de Entidades Pedagógicas y Técnicas de Apoyo
Los establecimientos clasificados en la categoría Desempeño Alto podrán formar parte del Registro Público de Entidades Pedagógicas y Técnicas de Apoyo administrado por el Ministerio de Educación, siempre que cumplan también con las normas que regulan la incorporación a estas entidades (ley SNAC, art. 24).
c) Homologación de la clasificación de la ley SEP y la Ordenación
Los establecimientos adscritos al régimen de Subvención Escolar Preferencial (SEP) serán ordenados por la Agencia de Calidad de la Educación según las categorías de la ley que crea el Sistema Nacional de Aseguramiento de la Calidad de la Educación (ley SNAC, art. 112).
La clasificación en las categorías indicadas en el actual artículo 9º de la Ley de Subvención Escolar Preferencial se entenderá equivalente a la Ordenación en las categorías establecidas en el artículo 17 de la Ley SNAC, de acuerdo con el siguiente cuadro:
Cuadro Nº 1. Homologación entre categorías de la Ordenación y SEP
. Fuente: Ley SNAC, artículo transitorio undécimo.
d) Asignación de apoyo
Los resultados de la clasificación en las categorías de desempeño de la Ordenación se usarán en la asignación y priorización de los recursos de apoyo a los establecimientos ordenados en las dos categorías inferiores.
El Ministerio de Educación, de acuerdo con la definición anual de la Ley de Presupuestos, prestará apoyo técnico pedagógico a los establecimientos directamente o por intermedio de una persona o entidad del registro creado para estos efectos (ley SNAC, art. 27).
Los sostenedores de los establecimientos educacionales podrán solicitar dicho apoyo técnico pedagógico para la elaboración e implementación de su plan de mejoramiento educativo. En caso de solicitar dicho apoyo, lo requerirán, a su elección, al Ministerio de Educación o a una persona o entidad del Registro Público de Personas o de Entidades Pedagógicas y Técnicas de Apoyo del Ministerio de Educación. Cuando el apoyo lo soliciten sostenedores que sean municipalidades, corporaciones municipales u otros entes creados por ley o que reciben aporte del Estado, el Ministerio de Educación brindará este apoyo directamente (ley SNAC, art. 27).
El apoyo brindado por el Ministerio de Educación deberá focalizarse en aquellos establecimientos ordenados en las categorías Desempeño Medio-Bajo y Desempeño Insuficiente, en aquellos sectores geográficos donde exista menor disponibilidad de apoyo técnico pedagógico, y en los establecimientos públicos y gratuitos (ley SNAC, art. 27).
e) Definición del plan de visitas de la Agencia
De acuerdo con la clasificación de los establecimientos educacionales, la Agencia de Calidad elaborará un plan anual de visitas evaluativas (ley SNAC, art. 22). Estas visitas evaluativas tendrán como finalidad llevar a cabo las evaluaciones de desempeño que contempla esta ley y recopilar información de los establecimientos.
La prioridad y frecuencia de las visitas evaluativas a los establecimientos que reciben aportes del Estado están definidas en la ley SNAC. Los establecimientos ordenados en la categoría Medio-Bajo deberán ser visitados al menos cada cuatro años, y los clasificados en Insuficiente, al menos cada dos. Los establecimientos que se encuentren en la categoría Desempeño Medio recibirán tantas visitas como la Agencia de Calidad de la Educación determine, aunque esta frecuencia debe ser inferior al número de visitas contempladas para establecimientos ordenados en las dos categorías inferiores (ley SNAC, art. 23).
Los establecimientos subvencionados o que reciben aportes del Estado ordenados en la categoría Desempeño Alto serán objeto de visitas evaluativas solo si el sostenedor lo solicita. Sin embargo, la Agencia podrá realizar visitas evaluativas con el fin de identificar y difundir prácticas destacadas y deseables de expandir a otros establecimientos. La restricción dispuesta para este último tipo de visitas es que no representen más del 5% del total realizado por la Agencia (ley SNAC, art. 23).
Finalmente, respecto de las visitas a establecimientos particulares pagados, la ley establece que solo podrán llevarse a cabo en caso de que estos lo soliciten (ley SNAC, art. 15), y la Agencia puede cobrar y percibir derechos por estos servicios (ley SNAC, art. 11).
f) Elaboración y revisión del plan de mejoramiento educativo
Como resultado de las visitas evaluativas, se entregarán orientaciones a los establecimientos que los sostenedores pueden considerar conforme a sus propias estrategias de mejoramiento. Con respecto a esto, la ley estipula que posterior a la evaluación de desempeño, los sostenedores deben elaborar o revisar su plan de mejoramiento educativo, considerando objetivos, estrategias, actividades, metas y recursos vinculados a las acciones que aspiren llevar adelante para mejorar los aprendizajes de los estudiantes y los Otros Indicadores de Calidad Educativa (ley SNAC, art. 26).
g) Medidas especiales para los establecimientos educacionales de Desempeño Insuficiente
La ley SNAC establece un conjunto de medidas para los establecimientos ordenados reiteradamente en la categoría Desempeño Insuficiente:
i. Apoyo técnico pedagógico
La ley establece la obligatoriedad de recibir
este apoyo en el caso de establecimientos
ordenados en la categoría Desempeño Insuficiente.
Así, este apoyo deberá entregarse, a lo menos,
hasta que estos establecimientos abandonen la
categoría, y como caso general, sólo podrá
brindarse por un plazo máximo de cuatro años
(ley SNAC, art. 29).
Sin embargo, la ley contempla una extensión de
este apoyo obligatorio hasta por un año
adicional, destinado a los establecimientos que
continúan en la categoría Insuficiente después de
cuatro años consecutivos. El requisito que la ley
exige a estos establecimientos para poder
recibir este año adicional de apoyo, es mostrar
una mejora significativa en sus resultados.
Respecto de lo anterior, la ley SNAC establece
que la Agencia de Calidad debe definir, en
normas de carácter general, los criterios para
determinar la mejora significativa de un
establecimiento educacional, los que deben
guardar relación con los Estándares de
Aprendizaje que se refieren a los objetivos
generales señalados en la ley y en sus
bases curriculares, y con los Otros
Indicadores de Calidad Educativa (ley
SNAC, art. 29).
ii. Entrega de información a padres y apoderados,
y facilidades de transporte
La Agencia informará a los padres y apoderados y
al Consejo Escolar cada vez que el
establecimiento al que envían a sus hijos o
pupilos sea ordenado en la categoría Desempeño
Insuficiente (ley SNAC, art. 28).
En el caso de aquellos establecimientos
educacionales que no exhiban una mejora
significativa luego de tres años de haber sido
ordenados en la categoría Desempeño Insuficiente,
la Agencia deberá informar a los padres y
apoderados la situación en que dichos
establecimientos se encuentran. La comunicación
deberá llevarse a cabo mediante una carta
certificada o cualquier otro medio que el
Ministerio de Educación determine, siempre que
se cumpla con el objeto de informar directamente
a cada uno de los apoderados y familias del
establecimiento. La comunicación contendrá
información relevante sobre los treinta
establecimientos educacionales más cercanos
que estén ordenados en categorías superiores
(ley SNAC, art. 30).
Para que los alumnos accedan a establecimientos
educacionales que estén ordenados en categorías
superiores, se les otorgarán facilidades de
transporte. El Ministerio de Educación deberá
dictar un decreto supremo, suscrito además por
el Ministro de Hacienda, que regule esta
materia (ley SNAC, art. 30).
iii. Revocación del reconocimiento oficial
Si después de cuatro años contados desde
la primera comunicación el establecimiento
educacional se mantiene en la categoría
Desempeño Insuficiente, considerando como
único factor el grado de cumplimiento de
los Estándares de Aprendizaje, la Agencia
certificará dicha circunstancia dentro
del primer semestre. Con el solo mérito
del certificado, el establecimiento perderá,
de pleno derecho, el reconocimiento oficial
al término del respectivo año escolar.
En el caso particular de establecimientos
que después de cuatro años pudieron extender
por un año adicional el apoyo técnico
pedagógico, por haber mostrado una mejora
significativa, pero que luego de ello persisten
en la categoría
Desempeño Insuficiente, la Agencia también
deberá certificar dicha condición y por el
solo ministerio de la ley el establecimiento
perderá el reconocimiento oficial al término
del respectivo año escolar (ley SNAC, art. 31).
iv. Nombramiento de un administrador provisional
por parte de la Superintendencia de Educación
Escolar
Cuando el establecimiento educacional se
mantenga en la categoría Desempeño Insuficiente
por cuatro años consecutivos y exista riesgo
de afectar la continuidad del año escolar, el
Superintendente de Educación Escolar podrá
nombrar un administrador provisional para el
establecimiento (ley SNAC, art. 89, letra
a). El administrador provisional tendrá
facultades para reestructurar el establecimiento
educacional si este es administrado por una
municipalidad, sea directamente o por sus
corporaciones municipales, y si no existen
establecimientos cercanos que impartan el
mismo nivel educativo, ordenados en mejor
categoría y que cuenten con vacantes
(ley SNAC, art. 94).
Para estos efectos, se entiende por
establecimientos cercanos aquellos que
se encuentran en la misma comuna y cuyo
sostenedor es una municipalidad, una
corporación municipal u otra entidad
creada por ley, o los establecimientos
particulares subvencionados que aceptan
gratuitamente a esos alumnos, sin proceso
de selección, entre 1º y 6º año de
educación básica (ley SNAC, art. 95).
2. Requisitos de los indicadores y variables
2.1 Criterios exigidos por la ley SNAC
En el artículo 11 de la ley SNAC se señala que una de las atribuciones de la Agencia es "diseñar, implementar y aplicar el sistema de medición de los resultados de aprendizaje de los alumnos, en función del grado de cumplimiento de los estándares de aprendizaje (...) y de los otros indicadores de calidad educativa".
En el mismo artículo, la ley SNAC señala los requisitos con los que deben cumplir las mediciones: deben realizarse "mediante instrumentos y procedimientos estandarizados, válidos, confiables, objetivos y transparentes". La metodología emplea la siguiente conceptualización de los requisitos de estandarización, validez, confiabilidad, objetividad y transparencia:
a) Estandarización
Corresponde al uso de procedimientos uniformes para garantizar que las observaciones, el contexto de las aplicaciones, los instrumentos y materiales utilizados y los protocolos de puntuación sean los mismos para todos los individuos a los que se les aplica la medición. La estandarización busca lograr la objetividad, de modo que los resultados puedan ser considerados válidos y justos al momento de comparar entre los individuos evaluados.
b) Validez
Implica garantizar que los instrumentos utilizados evalúen efectivamente los aspectos que se buscan medir, lo que se puede verificar mediante evidencia lógica o empírica. La verificación de la validez es fundamental para asegurar que las inferencias e interpretaciones de los resultados obtenidos a partir de estos instrumentos sean correctas. En este sentido, la validez de un instrumento corresponde al grado en que la evidencia y la teoría respaldan que la interpretación de los resultados de un determinado instrumento se encuentre alineada con el objetivo para el que se usará.
c) Confiabilidad
Corresponde a la estabilidad o consistencia de los resultados obtenidos, cuando el proceso de medición se repite en un contexto similar. Al aplicar el mismo instrumento o formatos equivalentes a poblaciones similares o a la misma población en distintos momentos, este debe entregar resultados estables.
d) Objetividad
Implica que los resultados de una evaluación son independientes de la actitud o apreciación personal del observador.
e) Transparencia
Asegura que los procedimientos, la metodología y los resultados sean accesibles, con el debido resguardo de la confidencialidad de los datos individuales, tanto a los establecimientos educacionales como a todos los miembros de la comunidad educativa que estén interesados en conocerlos.
2.2 Criterios metodológicos adicionales
Adicional a estos cinco requisitos metodológicos exigidos a los indicadores explícitamente en la ley SNAC, se agregan otros tres criterios con el objetivo de incrementar la exigencia y evitar problemas asociados a la medición.
a) Comparabilidad
Los indicadores deben ser comparables a lo largo del tiempo para así permitir la evaluación de la efectividad de las estrategias aplicadas por los establecimientos para mejorar en los ámbitos evaluados.
b) Indicadores modificables por la gestión escolar
Los establecimientos deben tener la capacidad efectiva de influir en los indicadores evaluados, para poder asignarles responsabilidad por sus resultados.
c) Indicadores y variables que no generen efectos indeseados
Los indicadores y variables escogidos para la Ordenación no deben producir consecuencias distintas u opuestas a las que motivaron su medición.
3. Otras definiciones requeridas en la ley para aplicar la metodología de ordenación
3.1 Antecedentes
La Agencia debe ordenar a todos los establecimientos educacionales reconocidos oficialmente por el Estado, de acuerdo a los resultados de aprendizaje de los alumnos y al grado de cumplimiento de los Otros Indicadores de Calidad Educativa (ley SNAC, art. 17), sin embargo, de este conjunto se excluyen los establecimientos de educación parvularia y de educación especial (ley SNAC, art. 21).
Junto con esta disposición, la ley contempla un resguardo para establecimientos que posean un menor número de alumnos que haya rendido las mediciones nacionales. En efecto, la metodología de Ordenación que se describe en este documento debe ser aplicada a todos los establecimientos que tengan una cantidad mínima de alumnos que permita la obtención de resultados válidos. Esta exigencia no exime de la Ordenación a los establecimientos con un tamaño menor al mínimo definido, ya que la ley establece que estos deberán ser ordenados con una metodología alternativa, que será aprobada por el Ministerio de Educación mediante decreto supremo (ley SNAC, art. 18, inciso 3º). De esta forma, las consecuencias asociadas a permanecer en la categoría Desempeño Insuficiente, se aplican a todos los establecimientos independientemente de la metodología que se usa para clasificarlos.
Por otra parte, la ley también contempla un resguardo en caso de establecimientos nuevos o que recientemente hayan obtenido el reconocimiento oficial, y que por ese motivo no cumplan con los requisitos legales para ser ordenados, especialmente en lo referido a disponibilidad de mediciones. Se presentan las definiciones requeridas para ambos casos, basadas en las disposiciones establecidas en la ley.
Adicional a esto, en el presente apartado se establece una definición que es requerida para la incorporación en la metodología de Ordenación de las nuevas evaluaciones que comiencen a estar disponibles a raíz de la completa implementación del Plan de Evaluaciones Nacionales.
3.2 Definición de establecimientos regulares a los que se aplica esta metodología de Ordenación
Los establecimientos regulares corresponderán al grupo de establecimientos que tienen 30 o más alumnos SIMCE. Los alumnos SIMCE corresponden al total de alumnos que rindieron la prueba SIMCE2 en las últimas tres mediciones para las pruebas anuales, y en las últimas dos mediciones para las pruebas que se realizan cada dos años o más.
---------------------------------------------------------------
2 En esta contabilización, cuando corresponda, el total de alumnos del grado segundo año básico deberá multiplicarse por 0,2.
La contabilización de los alumnos se hace según las pruebas de lectura. En aquellos casos en que no se cuenta con esta prueba en un determinado grado de un establecimiento, el cálculo se hace sobre la base de cualquier otra prueba censal que esté disponible en el mismo grado.
3.3 Definición de establecimientos nuevos
Los establecimientos educacionales nuevos se considerarán provisoriamente como establecimientos de Desempeño Medio-Bajo hasta que cumplan con los requisitos legales para ser ordenados (ley SNAC, art. 18, inciso 5º), por lo tanto, hasta que se den esas condiciones, no serán ordenados utilizando los procedimientos contemplados en esta metodología.
El cumplimiento de los requisitos legales para ser ordenados se basa en disponer del número de mediciones requeridas en la ley SNAC, según lo establecido en el artículo 18, inciso 1º. Para ordenar, es necesario poder contar para alguna asignatura, con al menos tres mediciones de Estándares de Aprendizaje consecutivas válidas cuando su medición sea anual, o dos mediciones consecutivas válidas en caso que su medición sea cada dos años o más. Además, es necesario poder contar para alguno de los Otros Indicadores de Calidad Educativa, con al menos tres mediciones consecutivas válidas cuando su medición sea anual, o dos mediciones consecutivas válidas en caso que su medición sea cada dos años o más.
Un establecimiento que no cumpla con estos requisitos no podrá ser ordenado ni con esta metodología ni con la metodología alternativa para escuelas pequeñas, dado que no se cuenta con un número suficiente de mediciones para saber si su tamaño es regular o no.
3.4 Incorporación de nuevas evaluaciones en la metodología
De acuerdo a lo establecido en el artículo 17 inciso 3º de la ley SNAC, para llevar a cabo la Ordenación, la Agencia debe considerar los resultados de aprendizaje de todas las áreas evaluadas censalmente en las mediciones nacionales. A lo anterior se suma lo exigido en el artículo 18, inciso 1º, que establece que se debe considerar el grado de cumplimiento de los Estándares de Aprendizaje y el grado de cumplimiento de los Otros Indicadores de Calidad Educativa de los establecimientos educacionales en tres mediciones consecutivas válidas, en caso de que éstas sean anuales, y dos mediciones consecutivas válidas, en caso de que se realicen cada dos años o más.
Por consiguiente, en el caso de las pruebas SIMCE nuevas, que por su reciente inclusión en el Plan de Evaluaciones Nacionales no cuenten con la cantidad de mediciones requeridas por el artículo 18 de la Ley Nº 20.529, estas se incorporarán en la metodología de Ordenación en la medida que vayan cumpliendo con la referida exigencia. Lo mismo aplicará si alguno de los Otros Indicadores de Calidad Educativa definidos no cuenta aún con la cantidad de mediciones requeridas en la ley.
II. INDICADORES Y VARIABLES DE LA METODOLOGÍA DE ORDENACIÓN
1. Definición y construcción de indicadores y variables
La metodología de Ordenación y las categorías obtenidas a partir de su aplicación deben considerar y reflejar los resultados educativos y las características del contexto de los establecimientos, evaluados mediante los indicadores y variables exigidos en ley SNAC. El artículo 17 de la ley señala que para llevar a cabo esta ordenación, la Agencia deberá considerar:
a) Los resultados de aprendizaje de todas las áreas evaluadas censalmente en las mediciones nacionales (...)
b) La distribución de los resultados de los alumnos en relación con los estándares de aprendizaje (...)
c) El grado de cumplimiento de los otros indicadores de calidad educativa (...)
d) Las características de los alumnos del establecimiento educacional, incluida, entre otras, su vulnerabilidad (...)
e) Cuando proceda, indicadores de progreso o valor agregado.
Para facilitar su denominación, los indicadores y variables que responden a esta exigencia se agrupan en cuatro dimensiones, tal como se presentan en el cuadro Nº 2.
Cuadro Nº 2. Resumen de indicadores y variables utilizados en la metodología de Ordenación
. 1.1 Indicadores de resultados del Sistema de Medición de la Calidad de la Educación (SIMCE) y Estándares de Aprendizaje
El Sistema de Medición de la Calidad de la Educación (SIMCE) tiene como objetivo principal informar los resultados de aprendizaje logrados por los alumnos, y contempla un conjunto de pruebas estandarizadas que se aplican en diversos grados y asignaturas.
Para esta dimensión, se construyen dos indicadores basados en los resultados de las pruebas SIMCE: Estándares de Aprendizaje y Puntaje SIMCE. El objetivo de estos dos indicadores es obtener información robusta sobre los aprendizajes y conocimientos adquiridos por los estudiantes evaluados en las pruebas SIMCE.
Indicador Estándares de Aprendizaje
Definición
Los Estándares de Aprendizaje son referentes que describen lo que los estudiantes deben saber y poder hacer para demostrar en las evaluaciones SIMCE determinados niveles de cumplimiento de los objetivos de aprendizaje estipulados en el currículo vigente.
Los Estándares de Aprendizaje, junto con sus puntajes de corte, son fijados por el Ministerio de Educación y aprobados por el Consejo Nacional de Educación. En caso de que los Estándares sean modificados, la Ordenación de establecimientos se realizará tomando en consideración los Estándares de Aprendizaje que se aplican al currículo evaluado en cada prueba. Es decir, cuando sean requeridos aun para la Ordenación, se utilizarán los estándares asociados a las mediciones previas al eventual cambio (dada la exigencia de incluir las dos o tres últimas mediciones en la metodología), y se emplearán los estándares nuevos para las mediciones nuevas asociadas a estos.
Los Estándares de Aprendizaje comprenden tres Niveles de Aprendizaje: Nivel de Aprendizaje Adecuado, Nivel de Aprendizaje Elemental y Nivel de Aprendizaje Insuficiente.
Construcción
El indicador Estándares de Aprendizaje se elabora asignando una puntuación a cada Nivel de Aprendizaje alcanzado por los estudiantes de un establecimiento educacional en cada prueba SIMCE. Las puntuaciones asignadas se promedian para obtener un puntaje de cada grado del establecimiento, y luego se agregan todos los valores de los distintos grados para obtener un indicador para cada nivel de enseñanza del establecimiento educacional.
a) Asignación de puntaje por Nivel de Aprendizaje:
Cada resultado obtenido en alguna prueba rendida en alguno de los años de la Ordenación recibe una clasificación en Estándares de Aprendizaje. Luego, a cada Nivel de Aprendizaje se le asigna un puntaje de acuerdo con el cuadro Nº 3.
Cuadro Nº 3. Puntaje asignado a cada Nivel de Aprendizaje
. Con estos valores individuales se calcula un promedio asociado a la medición de cada asignatura en distintos años y grados.
b) Agregación de los promedios año-asignatura-grado:
Primero se agrega entre años, según la fórmula de agregación común entre años (ver regla 2.3.1); luego, entre asignaturas (ecuaciones Nº 1 y Nº 2); y finalmente, entre grados con la fórmula de agregación común entre grados (ver regla 2.3.2).
Ecuación Nº 1. Agregación entre asignaturas, grado "g", educación básica
.Ecuación Nº 2. Agregación entre asignaturas, grado "g", educación media
. Indicador Puntaje SIMCE
Definición
Este indicador corresponde a los puntajes promedio obtenidos por los establecimientos en cada asignatura y grado que son evaluados en las mediciones del SIMCE.
Construcción
Se procede primero a estandarizar los puntajes individuales obtenidos por los estudiantes en cada prueba3, luego se escalan los puntajes al rango 0 a 100 y posteriormente se efectúa la agregación entre años y grados.
---------------------------------------------------------------
3 En el caso de que alguna prueba SIMCE no comparta la misma escala con las pruebas anteriores de la misma asignatura, la estandarización de cada puntaje debe realizarse de manera independiente según la escala de cada prueba.
a) Estandarización de los resultados de los puntajes individuales
Se agrupan todas las pruebas SIMCE de una misma asignatura y grado de todos los años a considerar en la Ordenación, empleando la regla de agregación entre años (ver regla 2.3.1). Sobre la base de este conjunto de resultados, se calculan las medias y desviaciones estándar para cada una de las pruebas consideradas (grado y asignatura). De esta forma, la media y la desviación estándar se obtienen para una distribución que ya agrupa las mediciones en todos los años a incluir para una asignatura y grado correspondiente.
Con la media y la desviación estándar de cada prueba se procede a efectuar la estandarización de sus puntajes. La media y la desviación estándar utilizadas para la estandarización de puntajes de cada prueba, calculadas en la primera Ordenación, quedan fijas para todo el período de vigencia de la metodología, de acuerdo con lo establecido en la regla de fijación de parámetros (ver regla 2.2).
b) Escalamiento al rango 0 a 100
Se sigue la regla de escalamiento establecida en la metodología (ver regla 2.1).
c) Agregación de los promedios año-asignatura-grado
Primero se agrega entre años según la fórmula de agregación común entre años (ver regla 2.3.1). Luego, se agregan las distintas asignaturas dentro de un grado, dándoles la misma ponderación a todas (ecuaciones Nº 3 y Nº 4), con lo que se obtiene un índice para cada grado. Finalmente, se agrega entre grados utilizando la regla estipulada (ver regla 2.3.2).
Ecuación Nº 3. Agregación entre asignaturas, grado "g", educación básica
.Ecuación Nº 4. Agregación entre asignaturas, grado "g", educación media
.1.2 Medidas de Progreso
Indicador Tendencia SIMCE
Entre las medidas de progreso, se evalúa la tendencia en los resultados de las pruebas SIMCE considerando las últimas dos o tres mediciones según corresponda.
Definición
El indicador Tendencia SIMCE identifica los cambios en los resultados de las pruebas SIMCE experimentados por el establecimiento, según si bajan, suben o se mantienen en los últimos años.
Construcción
Se calcula la tendencia de los resultados en las pruebas SIMCE de matemática y de lectura en cada grado, examinando las variaciones año a año de sus resultados y también en todo el período considerado. Luego, utilizando la regla de decisión que se explica a continuación, se computa un indicador de tendencia para cada grado. Finalmente, a partir de la tendencia de cada grado evaluado para cada nivel de enseñanza, se obtiene el indicador Tendencia SIMCE del establecimiento.
En cada uno de los grados en que se evalúa matemática y lectura, el indicador considera la evolución de las últimas cuatro mediciones, en el caso de que estas pruebas se rindan anualmente, y de las últimas tres mediciones en el caso de que se rindan cada dos años o más.
a) Cálculo de la tendencia de cada prueba en cada grado
La tendencia de las pruebas de matemática y lectura de un grado se construye a partir de una regla de decisión que considera la tendencia parcial y el delta.
- Cálculo de tendencia parcial
La tendencia parcial se obtiene de la suma del puntaje asignado a cada una de las variaciones anuales observadas. Una variación anual corresponde a la diferencia del promedio SIMCE en una prueba de un grado en dos evaluaciones consecutivas. A cada variación anual se le asigna un puntaje de -1, 0 ó 1 dependiendo de su magnitud. La asignación de este puntaje se explica a partir del cuadro Nº 4.
- Cálculo delta
El delta es el puntaje que se le asigna a la diferencia entre el promedio de una prueba SIMCE de un grado en el último año del periodo considerado y el promedio obtenido el primer año del periodo para esa misma prueba del grado respectivo. El delta puede tomar los valores -1, 0 ó 1 dependiendo de la magnitud de la diferencia entre ambos promedios. La asignación de este puntaje se explica a partir del cuadro Nº 4.
Cuadro Nº 4. Criterios de asignación de puntajes de la variación anual empleada para el cálculo de la tendencia parcial y el delta
. Para que el promedio de la prueba SIMCE de una asignatura en un año sea considerado, debe haber al menos dos alumnos del establecimiento que rindieron la prueba de esa asignatura. Si no se cumple con este requisito, esto es equivalente a que el establecimiento no hubiese rendido esa prueba del grado para efectos de este indicador.
Para poder calcular la variación anual es necesario que la suma de los alumnos que rindieron la prueba de la asignatura en los dos años considerados tenga que ser igual o superior a seis y que además se cumpla la restricción anterior para cada uno de los dos años contemplados en la variación anual. Si no se cumple este requisito, el establecimiento no tiene puntaje para esa variación anual.
Para poder calcular el delta también es necesario que la suma de los alumnos que rindieron la prueba de las asignaturas en el primer y último año considerado sea igual o superior a seis. Si el establecimiento no tiene valores para calcular el delta, porque la suma de los alumnos entre el año inicial y final es inferior a seis, se asigna un valor "0" y se calcula la tendencia según sus resultados en la tendencia parcial.
Finalmente, el cuadro Nº 5 define la regla de decisión a partir de la que se determina la Tendencia SIMCE para cada prueba en cada grado. En este cuadro se presentan los casos en que el establecimiento será clasificado como en "Alza", en "Baja" o si se "Mantiene" en esa prueba. Un establecimiento requiere de al menos dos variaciones para que su tendencia sea calculada.
Cuadro Nº 5. Criterios de clasificación de tendencia por prueba
. b) Cálculo de tendencia a nivel de grado
Una vez que se determinó, para cada prueba de cada grado si es que el establecimiento subió, mantuvo o bajó sus resultados se procede a computar un indicador Tendencia SIMCE por grado. En el cuadro Nº 6 se presenta la regla de decisión que permite determinar si el establecimiento mejoró, mantuvo o empeoró sus resultados en el grado. El cuadro Nº 7 muestra cómo se asigna el puntaje a los resultados del establecimiento en el grado.
Cuadro Nº 6. Regla de decisión para determinar Tendencia por grado
. Cuadro Nº 7. Puntajes de Tendencia por grado
. c) Cálculo del indicador Tendencia SIMCE del nivel de enseñanza
El valor final del indicador Tendencia SIMCE para un nivel de enseñanza del establecimiento, se obtiene agregando los puntajes obtenidos para cada grado, según la metodología descrita en la regla de agregación por grados (ver regla 2.3.2).
1.3 Otros Indicadores de Calidad Educativa
Los Otros Indicadores de Calidad Educativa fueron elaborados por el Ministerio de Educación y aprobados por el CNED. En el decreto supremo Nº 381, de 2013, del Ministerio de Educación, se estipula la definición y la metodología de construcción de cada uno de estos indicadores, por lo que en esta sección se presenta una breve referencia a éstos y se explicita cuáles son las reglas de agregación que se deben aplicar para su utilización en la Ordenación. En el cuadro Nº 8 se detallan los Otros Indicadores de Calidad Educativa y su fuente de medición.
Cuadro Nº 8. Fuentes de medición de los Otros Indicadores de Calidad Educativa
. Indicadores construidos a partir de los cuestionarios SIMCE
Los indicadores construidos a partir de los cuestionarios SIMCE son elaborados sobre la base de las respuestas de los alumnos, padres y apoderados, y docentes en los cuestionarios que se aplican en conjunto a las pruebas SIMCE. Estos indicadores corresponden a Autoestima académica y motivación escolar, Clima de convivencia escolar, Participación y formación ciudadana, y Hábitos de vida saludable. Todos estos indicadores se deben agregar entre años y grados.
. Agregación entre años y grados:
Se aplica la regla común de agregación entre años y entre grados
(ver regla 2.3.1 y regla 2.3.2).
De acuerdo a lo que se establece en el decreto supremo Nº 381, de 2013, del Ministerio de Educación, en todos aquellos Otros Indicadores de Calidad Educativa que se construyen a partir de los cuestionarios SIMCE, la fórmula genérica en que se utilizan los ítems puede variar según el avance de las técnicas de análisis de cuestionarios, siempre y cuando se resguarde la comparabilidad y la comunicabilidad de cada indicador.
Indicadores construidos a partir de registros del Ministerio de Educación y resultados SIMCE
Asistencia escolar
El cálculo de este indicador se basa en la información de registro del Sistema de Información General de Estudiantes (SIGE). El dato resultante de ese cálculo corresponde a un valor de asistencia anual individual que será asociado a todos los alumnos que rinden las pruebas SIMCE.
En este indicador se fijan parámetros que permiten clasificar la asistencia durante el año escolar de cada alumno que ha rendido una prueba SIMCE. Estos parámetros se mantendrán fijos para todo el periodo en que se aplique esta metodología de Ordenación (ver regla 2.2).
. Agregación entre años y grados:
Se aplica la regla de agregación entre años y entre grados (ver
regla 2.3.1 y regla 2.3.2).
Retención escolar
Los datos usados para calcular este indicador se basan en los registros disponibles en el Sistema de Información General de Estudiantes (SIGE). Este indicador entrega un valor a cada establecimiento según la proporción de alumnos que permanecen en el sistema escolar en un año determinado.
En la elaboración del indicador Retención escolar se establecieron parámetros anuales que se mantendrán fijos para todo el periodo en que se aplique la metodología de Ordenación (ver regla 2.2).
. Agregación entre años:
Se usa la regla de agregación entre años (ver regla 2.3.1).
Equidad de género
Este indicador se mide mediante los resultados en las pruebas SIMCE obtenidos por los establecimientos mixtos.
En la elaboración del indicador se han fijado una serie de parámetros anuales que permiten determinar si un establecimiento presenta en una determinada prueba una brecha importante de resultados entre hombres y mujeres. Los parámetros se mantendrán fijos para todo el periodo en que se aplique la metodología de Ordenación (ver regla 2.2).
. Agregación entre grados:
A partir de los valores de cada grado en que se ha rendido la prueba
SIMCE, se aplica la regla de agregación entre grados (ver regla
2.3.2).
Titulación técnico profesional
Este indicador se computa en establecimientos de enseñanza media que imparten educación técnico profesional. La información de titulación de los estudiantes de estos establecimientos se obtendrá a partir de los registros de las Seremias que informan anualmente cuántos alumnos egresados de estos establecimientos han cursado todos los requisitos mínimos necesarios para obtener la titulación.
. Agregación entre años:
Se usa la regla de agregación entre años (ver regla 2.3.1).
1.4 Variables de la dimensión Características de los alumnos
Estas variables representan factores que inciden en los Estándares de Aprendizaje, en los resultados SIMCE, en las medidas de progreso y en los Otros Indicadores de Calidad Educativa, y no están bajo la influencia directa de la gestión del establecimiento.
Las variables incluidas en la dimensión Características de los alumnos se presentan en el cuadro Nº 9.
Cuadro Nº 9. Variables de Características de los alumnos
. Nivel de vulnerabilidad
Definición
Esta variable se define a partir de los puntajes de los hogares en la Ficha de Protección Social (FPS) o en el instrumento que en el futuro la reemplace. La FPS es un instrumento de clasificación socioeconómica de los hogares que utiliza la política pública de nuestro país para focalizar la entrega de beneficios de programas sociales.
Construcción
En la construcción del indicador se asocia a cada alumno un valor que puede ser un múltiplo de 10, entre 0 y 100, dependiendo de la posición relativa del puntaje del hogar de pertenencia en la distribución nacional de los puntajes de la FPS, realizando los pasos que se describen a continuación.
a) Asignación de un valor alto a los alumnos cuyos hogares no tienen FPS
A los alumnos cuyos hogares no tienen FPS, todos los años se asigna un puntaje que se ubica por sobre el máximo puntaje posible de la FPS.
b) Distribución de los puntajes de la FPS y conformación de once grupos del mismo tamaño
Se ordena a los estudiantes de menor a mayor vulnerabilidad, según su puntaje en la FPS4, incluyendo los puntajes asignados en el paso anterior a los estudiantes sin FPS. Cuando hay estudiantes que tienen un mismo puntaje, se considerará discrecionalmente cuál estará antes o después en este ordenamiento, respecto del resto de los estudiantes que tiene el mismo puntaje. Luego, se conformarán once grupos con igual número de personas siguiendo el orden recién establecido. Este procedimiento se replica anualmente, cada vez que se calcula la variable de vulnerabilidad.
--------------------------------------------------------------
4 En el caso de los alumnos cuyo puntaje de la FPS de sus hogares haya sido actualizado por última vez hace más de 5 años, la Agencia deberá determinar un criterio para evaluar la utilización de esta información.
c) Asignación de valores de 0 a 100 a los alumnos, según posición en la distribución
Se asigna un puntaje a cada grupo conformado en el paso anterior. Estos puntajes se asignan dependiendo de la posición relativa de cada grupo dentro del orden de la letra b) recién expuesta: si es el primer grupo recibe el valor de 0, el segundo grupo recibe un valor de 10, el tercer grupo recibe 20, y así sucesivamente de 10 en 10, hasta el grupo que reúne a los alumnos más vulnerables, que recibe el valor 100.
Si hay estudiantes con un mismo puntaje FPS pero que están en grupos distintos, entonces se cambiará de agrupación a todos estos alumnos hacia el grupo en que se haya asignado un mayor valor.
Aquellos alumnos cuyos hogares no tienen FPS y que se les asignó un puntaje de acuerdo a lo estipulado en la letra a), independiente del grupo en que se encuentren, siempre reciben el valor 0.
d) Agregación entre años y grados
Se aplica la fórmula de agregación común para todos los indicadores y variables; es decir, se ponderan los resultados a nivel de año y grado para obtener los valores del indicador en cada nivel de enseñanza del establecimiento (ver regla 2.3.1 y regla 2.3.2).
Escolaridad de la madre
Definición
Esta variable corresponde a una medida del nivel educacional alcanzado por la madre o madrastra de cada estudiante que ha rendido alguna de las mediciones SIMCE consideradas en la metodología.
La variable Escolaridad de la madre se obtiene a partir del cuestionario de padres y apoderados, que se aplica junto con la prueba SIMCE, y que registra el nivel educacional de la madre o madrastra del estudiante. Estos valores deberán ser comparados con los datos administrativos que disponga Ministerio de Educación o la Agencia de Calidad de la Educación sobre el curso o nivel educacional actual de la madre de los estudiantes (para quienes están estudiando), o el último curso o nivel educacional aprobado (para quienes no están estudiando). Está información podrá ser considerada para caracterizar la escolaridad de la madre.
Construcción
a) Identificación de madres y alumnos
Se realiza la identificación de madres y alumnos mediante el folio identificador de los cuestionarios SIMCE.
b) Conversión de los años de escolaridad declarados a escala estándar
Los datos obtenidos se convierten a una escala de años de escolaridad según conversión usada por la UNESCO. En el cuadro Nº 10 se muestra esta conversión del nivel educacional en años de escolaridad.
Cuadro Nº 10. Conversión del nivel educacional en años de escolaridad para variable Escolaridad de la madre, según conversión usada por la UNESCO
. c) Escalamiento al rango 0 a 100
Se multiplican los valores del cuadro Nº 10 por -1 para que a menor educación corresponda un mayor puntaje, y luego con los valores obtenidos, se sigue la regla de escalamiento (ver regla 2.1).
Una vez finalizado el escalamiento, se obtiene la información del nivel educacional de la madre de todos los alumnos que han rendido todas las pruebas SIMCE que se considerarán en un determinado año de la Ordenación. Así, el menor nivel educacional (sin estudios) se identificará con un valor máximo de 100, y el mayor nivel (doctorado universitario), con el valor 0.
d) Agregación entre años y grados
Se aplica la fórmula de agregación común para todos los indicadores y variables; es decir, se ponderan los resultados a nivel de año y grado para obtener los valores del establecimiento (ver regla 2.3.1 y regla 2.3.2).
Entrada de alumnos con buen desempeño académico y entrada de alumnos con mal desempeño académico
Definición
Estas variables corresponden a una medida de la movilidad escolar que busca identificar a alumnos que han llegado a un establecimiento en el grado en que se rinde la prueba SIMCE y que en su establecimiento de origen presentan un historial académico destacado o deficiente, según corresponda. Ambos indicadores buscan aislar una parte de los resultados de estos alumnos que no es atribuible a los establecimientos en que rinden finalmente las pruebas SIMCE.
La variable Entrada de alumnos con buen desempeño académico identifica a estudiantes que ingresaron a un establecimiento el mismo año en que se rinde alguna de las pruebas del SIMCE y que, en sus establecimientos de origen, tenían un rendimiento alto en comparación con los estudiantes de su misma generación.
La variable Entrada de alumnos con mal desempeño académico identifica a estudiantes que ingresaron a un establecimiento el mismo año en que se rinde alguna de las pruebas del SIMCE y que, en sus establecimientos de origen, tenían un rendimiento bajo en comparación con los estudiantes de su misma generación.
Construcción
a) Identificación de alumnos nuevos que rinden pruebas SIMCE
Mediante las bases de datos del SIGE se analiza la situación de todos los alumnos que rinden las pruebas SIMCE incluidas en la Ordenación, y se identifica a los estudiantes que ingresaron al establecimiento al principio o durante el año de rendición de la prueba en los grados correspondientes.
b) Identificación de alumnos nuevos con buen desempeño académico
Se utiliza la información relativa al promedio anual obtenido por el alumno el último año en que estuvo en el establecimiento de origen; este cálculo se hará según la información oficial disponible en el Ministerio de Educación. Si el estudiante que se cambió de colegio obtuvo el año anterior al cambio un promedio que se encontraba en el 25% superior de la cohorte de estudiantes del establecimiento de origen, recibe un valor de 100 en la variable. Los demás estudiantes -incluidos los que no se han cambiado de establecimiento- reciben un valor igual a 0 en la variable.
c) Identificación de alumnos nuevos con mal desempeño académico
Se utiliza la información relativa al promedio anual obtenido por los alumnos el último año en que estuvo en el establecimiento de origen; este cálculo se hará según la información oficial disponible en el Ministerio de Educación. Si el estudiante que se cambió de colegio obtuvo el año anterior al cambio un promedio que se encontraba en el 25% inferior de la cohorte de estudiantes del establecimiento de origen, recibe un valor de 100 en la variable. Los demás estudiantes -incluidos los que no se han cambiado de establecimiento- adquieren un valor igual a 0 en la variable.
d) Agregación entre años y grados
Se aplica la fórmula de agregación común para todos los indicadores y variables; es decir, se ponderan los resultados de la variable a nivel de año y grado para obtener un valor a nivel del establecimiento (ver regla 2.3.1 y regla 2.3.2).
Alumnos de ascendencia indígena
Definición
Esta variable representa una medida indicativa de la ascendencia indígena de un estudiante.
La información sobre la ascendencia indígena de los alumnos es recogida en el cuestionario SIMCE aplicado a los padres y apoderados de todos los alumnos que rinden estas pruebas. En el caso que no se informara esta variable en el cuestionario SIMCE o este no se encuentre disponible, se utiliza la información que está registrada en el Sistema de Información General de Estudiantes (SIGE), y que es reportada por el director o sostenedor, quien señala quiénes de sus alumnos tienen ascendencia indígena.
Construcción
a) Identificación de alumnos de ascendencia indígena
Se identifica a los alumnos de ascendencia indígena en el establecimiento según las respuestas en el cuestionario SIMCE aplicado a los padres y apoderados de los alumnos, o según la información registrada en la base del directorio del SIGE. Dicha información se traduce en valor 0, si se trata de un alumno sin ascendencia indígena, y valor 100, para quienes presentan esta característica.
b) Agregación entre años y grados
Se aplica la fórmula de agregación común para todos los indicadores y variables (ver regla 2.3.1 y regla 2.3.2).
Alumnos con Necesidades Educativas Especiales (NEE)
Definición
Se consideran Necesidades Educativas Especiales Permanentes "aquellas barreras para aprender y participar que determinados estudiantes experimentan durante toda su escolaridad como consecuencia de una discapacidad diagnosticada por un profesional competente y que demandan al sistema escolar la provisión de apoyo y recursos extraordinarios para asegurar el aprendizaje escolar" (decreto Nº 170, art. 2º). Entre estas, se incluyen discapacidades sensoriales que afectan a la visión o a la audición de manera severa, discapacidades intelectuales, discapacidades motoras y graves alteraciones en la capacidad de relación y comunicación (Ministerio de Educación, 2011).
Por su parte, se entiende por Necesidades Educativas Especiales Transitorias: "aquellas [necesidades] no permanentes que requieren los alumnos en algún momento de su vida escolar a consecuencia de un trastorno o discapacidad diagnosticada por un profesional competente y que necesita de ayuda y apoyos extraordinarios para acceder o progresar en el currículum por un determinado periodo de tiempo" (decreto Nº 170, art. 2º). Se consideran dentro de este grupo a alumnos con rendimiento en el rango limítrofe en pruebas de coeficiente intelectual, con trastornos específicos de lectura, con trastornos específicos del aprendizaje y con trastornos de déficit de atención (Ministerio de Educación, 2011).
Procedimiento
La presencia de alumnos con NEE en los establecimientos educacionales será reconocida para la Ordenación mediante la exclusión de los puntajes de estudiantes que presenten Necesidades Educativas Especiales Permanentes, según los requisitos establecidos en la normativa, y utilizando los mismos principios adoptados por la prueba SIMCE con respecto a los alumnos que presentan estas necesidades. Estos principios se especifican en el cuadro Nº 11.
Hasta el año 2012 los directores de los establecimientos identificaban a los alumnos con Necesidades Educativas Especiales en las pruebas SIMCE. A partir de ese año existe mayor regulación sobre este procedimiento y se exige que se demuestre el tipo de NEE de los alumnos mediante certificación profesional, lo que se realiza en el período previo a la rendición de la prueba.
En la primera Ordenación se usará información de algunos años anteriores al cambio de la normativa de certificación de alumnos con Necesidades Educativas Especiales. En ese período las definiciones utilizadas serán las correspondientes a la normativa vigente en los años respectivos.
Es importante señalar que este procedimiento influye en los indicadores Estándares de Aprendizaje, Puntaje SIMCE, Tendencia SIMCE y Equidad de Género, que se construyen para cada establecimiento a partir de los resultados de las pruebas SIMCE. Esto implica que en el resto de Otros Indicadores de Calidad Educativa que son construidos a partir de los cuestionarios SIMCE o de registros administrativos, la información de los estudiantes con Necesidades Educativas Permanentes es considerada para la obtención de los valores en esos indicadores.
Cuadro Nº 11. Síntesis de criterios del procedimiento para alumnos con Necesidades Educativas Especiales en aplicación de pruebas SIMCE desde el año 2012
. Ruralidad o aislamiento
Definición
Se incluyen en esta definición a establecimientos que han sido considerados rurales según la clasificación entregada por el Instituto Nacional de Estadísticas (INE). El INE considera entidad rural a aquella que presenta un conjunto de viviendas concentradas, con menos de 1.000 habitantes o entre 1.001 y 2.000, y con el 50% o más de su población económicamente activa dedicada a actividades económicas primarias.
Complementariamente a la condición de ruralidad, en la definición de esta variable se agrega la situación de aislamiento. Se considera a establecimientos aislados como aquellos situados a más de 5 kilómetros de distancia de las ciudades de referencia determinadas por las Seremias de Educación.
Construcción
a) Bases de datos para el cálculo
En el caso de esta variable, se recurre a distintas fuentes que entregan información sobre la situación de ruralidad o aislamiento de los establecimientos.
- Directorio de establecimientos del Sistema de Información General
de Estudiantes (SIGE)
- Base Sistema Nacional de Evaluación Desempeño de Establecimientos
Subvencionados (SNED)
- Distancia a ciudades de referencia según los datos para obtener la
Asignación por Desempeño en Condiciones Difíciles
b) Elaboración de la medida final de Ruralidad o aislamiento
Se realiza una clasificación binaria (0; 100), en que el valor 100 lo toman los establecimientos que clasifican como rurales o aislados en un determinado año. La identificación de la situación de Ruralidad se hace mediante los datos provenientes del SNED. En caso que no se cuente con información de la entrega del SNED en el período requerido, se utiliza información proveniente del SIGE. La identificación de los establecimientos aislados se hace a partir de la información sobre el nivel de aislamiento disponible para los establecimientos que postularon a la Asignación por Desempeño en Condiciones Difíciles.
De acuerdo con lo expuesto, el valor final de la variable para cada establecimiento se obtiene según la agregación de los valores observados en los años considerados para la Ordenación. Para ello se usa la fórmula de agregación entre años de la regla de construcción de todos los indicadores y variables de esta metodología (ver regla 2.3.1).
Tasa de delitos de violencia intrafamiliar, vulneración de derechos y delitos sexuales
Definición
Se incluye una medida de tasa de delitos que considera las situaciones familiares que afectan la conducta y disposición al aprendizaje de los estudiantes y, además, influyen en la labor del docente. Esta tasa considera la ocurrencia de violencia intrafamiliar, delitos sexuales y otros delitos, en las comunas (o cuadrantes) donde habitan los estudiantes de un establecimiento.
Los datos utilizados corresponden a información entregada por la Subsecretaría de Prevención del Delito del Ministerio del Interior respecto del número de denuncias por estos delitos registrados anualmente en cada comuna (o cuadrantes al interior de estas, en la medida que exista esta información). Los antecedentes se entregan de manera desagregada por tipo de delito.
Construcción
a) Construcción de tasa por habitante de cada comuna (o cuadrante)
Para su construcción, primero, se obtiene el número de denuncias cursadas en estos delitos por las personas de la comuna (o cuadrante) correspondiente. Esta información es reportada anualmente por el Ministerio del Interior a la Agencia de la Calidad de la Educación. Luego, esta frecuencia se divide por la cantidad de habitantes de la comuna (o cuadrante) a la que pertenece el alumno. Este valor se multiplica por 100, para que la tasa tome valores de la escala común determinada para la ordenación.
b) Asociación de la tasa para cada estudiante
Luego de obtener la tasa para todas las comunas del país, se le asocia a cada alumno considerado en la Ordenación la tasa de la comuna (o cuadrante) en la que él vive. La información de la comuna (o cuadrante) de residencia del alumno es obtenida de la Base de Datos SIGE.
c) Escalamiento al rango 0-100
Se sigue la regla de escalamiento establecida en la metodología (ver regla 2.1). Para esta variable, el valor mínimo a utilizar corresponde al valor del percentil 1 de la distribución y el valor máximo al valor del percentil 99.
d) Agregación entre años y grados
Se aplica la fórmula de agregación común para todos los indicadores y variables; es decir, se ponderan los resultados a nivel de año y grado para obtener los valores del establecimiento (ver regla 2.3.1 y regla 2.3.2).
2. Reglas comunes para la construcción de indicadores y variables
Las reglas comunes son empleadas en fases o momentos distintos de la metodología, como se señaló en el apartado anterior. La regla 2.1 aplica en la construcción de las variables individuales o variables de menor agregación que se utilizan en la primera etapa de la metodología. La regla 2.2 se refiere a la fijación de los parámetros utilizados en el cálculo de indicadores y variables, con el objetivo de mantener la comparabilidad. La regla 2.3 (que considera las reglas 2.3.1 y 2.3.2) es requerida para obtener valores de cada indicador o variable a nivel de establecimiento. En el cuadro Nº 12 se indica el tipo de agregación que se utiliza en cada indicador o variable (según las reglas en 2.3).
Cuadro Nº 12. Indicadores y variables en que se aplicará la agregación entre años y grados
.2.1 Regla de escalamiento al rango 0 a 100
En caso que los indicadores y variables no se encuentren en una escala dentro del rango 0 a 100, se aplica un procedimiento para producir esa transformación. Para llevarlo a cabo, se aplica la regla de escalamiento que se describe en la ecuación Nº 5, donde a la variable xj, se le resta su valor mínimo (min(xj)), y se divide por su rango (max(xj)- min(xj)) para dejarla con valores entre cero y uno. Luego se multiplican los valores obtenidos por 100.
Ecuación Nº 5. Regla de escalamiento
. Esta regla se utiliza para el Puntaje SIMCE y en las variables de Características de los Alumnos cuando no se encuentren en el rango de 0 a 100. En la dimensión de Otros Indicadores de Calidad Educativa, y en los indicadores Estándares de Aprendizaje y Tendencia SIMCE, dada su metodología de construcción, estos ya se encuentran en el rango de 0 a 100.
2.2 Regla de fijación de parámetros
Las medias, desviaciones estándar, mínimos, máximos u otros parámetros requeridos para el cálculo o asignación de valores en los distintos indicadores se mantendrán fijos una vez que sean computados para la primera Ordenación. El objetivo es resguardar la comparabilidad en el tiempo de los indicadores y, a su vez, facilitar la comprensión de la información para los establecimientos y la comunidad escolar, al posibilitar la evaluación de sus resultados conforme a una medida preestablecida que no será modificada año a año.
2.3 Reglas de agregación
El resultado promedio del establecimiento, para cada nivel de enseñanza, será obtenido mediante una regla común que contempla la agregación entre años y entre grados. En primer lugar, se promedian los distintos años evaluados y se obtiene un promedio por grado para cada indicador. Luego, se promedian los resultados de cada grado, lo que permite finalmente llegar a un único indicador para el nivel de enseñanza evaluado.
2.3.1 Regla de agregación entre años
Para obtener un solo valor para cada grado del
nivel de enseñanza evaluado, se promedian los
resultados de los distintos años evaluados.
Este promedio debe considerar las últimas
dos o tres mediciones censales consecutivas
válidas para el establecimiento, según lo
estipula la ley (ley SNAC, art. 18).
La fórmula de agregación entre años otorga
mayor ponderación a los resultados recientes
en el cálculo de los promedios de cada
indicador. Cuando se consideran tres mediciones
anuales, se le asigna un peso del 50% a la
última medición, el 33,3% a la penúltima
medición, y el 16,7% a la antepenúltima
medición. Cuando se consideran dos mediciones
anuales, se le asigna un peso del 66,7% a la
última medición, y el 33,3% a la penúltima
medición.
En la ecuación Nº 6 se presentan las
ponderaciones de los datos en el tiempo
cuando se utilizan tres mediciones hacia
atrás, y en la ecuación Nº 7, la ponderación
cuando se utilizan dos mediciones hacia
atrás. En aquellos casos en que una prueba
con una frecuencia cada dos años o más pase a
ser rendida anualmente, se comenzará a
considerar la información de sus últimas
tres mediciones a partir del momento en
que se concrete el cambio de frecuencia.
En las fórmulas Nº 6 y 7, A1j corresponde
al índice agregado por años de un indicador
o variable j, cuando las mediciones de j
son anuales.
El término aj,t es la última medición
de j, aj,t-1 es la penúltima y aj,t-2 la
antepenúltima.
El término A2j corresponde al índice
agregado por años de una variable j, cuando
las mediciones de j son año por medio. Entonces
aj,t es la última medición de j y aj,t-1 es
la penúltima.
Ecuación Nº 6. Agregación entre años, tres mediciones anuales
.Ecuación Nº 7. Agregación entre años, dos mediciones cada dos años o más
. Esta regla se aplica a todos los indicadores y variables, con la excepción de dos indicadores que no existen a nivel de año: Tendencia SIMCE y Equidad de género. Estos indicadores, en su forma de construcción, ya consideran la información proveniente de distintos años, y toman un solo valor para cada grado, por lo tanto, no necesitan la agregación entre años.
En el caso específico de los indicadores Estándares de Aprendizaje y Puntaje SIMCE, antes de proceder a la agregación entre años es necesario agregar entre asignaturas evaluadas. En la descripción de ambos indicadores se explica esta particularidad.
2.3.2 Regla de agregación entre grados
Para obtener un solo valor para cada nivel de enseñanza evaluado, se promedian los resultados de los distintos grados. Así, la categorización final del desempeño en cada nivel de enseñanza se lleva a cabo a partir del resultado promedio de los distintos grados del establecimiento en cada indicador o variable.
Para agregar los valores de los distintos grados se calcula un promedio ponderado. En este, el valor de cada grado se pondera por la proporción de estudiantes del nivel de enseñanza evaluados en el grado respectivo, ajustado por la proporción de asignaturas del nivel de enseñanza evaluadas en el grado.
Para contabilizar el número de estudiantes se consideran los alumnos que rinden la prueba de lectura SIMCE en cada grado7.
---------------------------------------------------------
5 Decreto Nº 577 año 1990, que establece normas técnico-pedagógicas para educandos con trastornos motores.
6 Artículos 73, 74, 75 y 76, decreto Nº 170.
7 En el caso en que por algún motivo no se cuente con las mediciones de lectura para algún grado y año, se contabilizarán a los alumnos, para efectos de ese grado y año, utilizando otra evaluación.
La proporción de estudiantes del nivel de enseñanza evaluados en el grado respectivo se obtiene al dividir el número promedio de estudiantes evaluados por año en el grado, por la suma del número promedio de estudiantes evaluados por año en cada uno de los grados considerados para el nivel de enseñanza.
Esta proporción de estudiantes se ajusta por la proporción de asignaturas del nivel de enseñanza evaluadas en el grado. El ajuste se realiza multiplicando la proporción de estudiantes del nivel de enseñanza evaluados en el grado respectivo por la proporción de asignaturas del nivel de enseñanza evaluadas en el grado.
En las ecuaciones Nº 8, Nº 9 y Nº 10 se muestra la fórmula de esta regla de agregación entre grados para educación básica.
El término Ab corresponde al valor que se obtiene en enseñanza básica para un indicador o variable determinada. Este corresponde a un promedio ponderado del índice Ajb de cada grado evaluado i en enseñanza básica.
El término nib corresponde al número promedio de estudiantes evaluados por año en la prueba de lectura SIMCE en el grado i, en las dos o tres últimas mediciones dependiendo del grado (tres mediciones si estas son anuales, y dos mediciones si son cada dos años o más). El término Nb corresponde a la suma del número promedio de estudiantes evaluados por año en la prueba de lectura SIMCE en cada uno de los grados considerados para el nivel de enseñanza ajustado por la proporción de asignaturas del nivel de enseñanza evaluadas en el grado, dada por pib.
El ponderador pib corresponde a la razón entre la cantidad de asignaturas evaluadas en un determinado grado i, sobre la suma de la cantidad total de asignaturas evaluadas en enseñanza básica.
Ecuación Nº 8: Agregación entre grados, enseñanza básica.
. Ecuación Nº 9
. Ecuación Nº 10
. En enseñanza media, los ponderadores se calculan de una manera diferente.
En las ecuaciones Nº 11 y Nº 12 se muestra la fórmula de esta regla de agregación entre grados para educación media.
El término Am de la ecuación Nº 11 corresponde al valor del indicador o variable que se obtiene para enseñanza media siguiendo esta regla de agregación. Este valor es un promedio ponderado del índice Aim de cada grado evaluado i en enseñanza media.
El término nim corresponde al número promedio de estudiantes evaluados por año en la prueba de lectura SIMCE en el grado i, en las dos o tres últimas mediciones dependiendo del grado (tres mediciones si estas son anuales, y dos mediciones si son cada dos años o más). El término Nm corresponde a la suma del número promedio de estudiantes evaluados por año en la prueba de lectura SIMCE en cada uno de los grados considerados para el establecimiento multiplicado por pim.
Al corregir los desbalances entre el número de asignaturas evaluadas en cada grado en este nivel de enseñanza, el ajuste que se efectúa por este concepto se aplica de manera distinta. A segundo medio se le asigna un peso fijo p2m de 0.9, mientras a tercero medio se le asigna un peso fijo p3m de 0.1.
Ecuación Nº 11. Agregación entre grados, enseñanza media.
. Ecuación Nº 12
. Estos valores serán modificados el año 2017, cuando el nivel de enseñanza media comience en séptimo básico y se incluyan evaluaciones que hasta esa fecha eran de educación básica. A partir de ese año, la agregación entre grados en enseñanza media, en todos los indicadores y variables que la requieran, se debe efectuar en la forma establecida por las ecuaciones Nº 8, Nº 9 y Nº 10; es decir, de la misma forma que se realiza la agregación entre grados en educación básica.
3. Tratamiento de datos faltantes en la metodología de Ordenación
La Agencia contará con procedimientos y criterios que permitirán cautelar de manera adecuada el tratamiento de datos faltantes en algún establecimiento educacional, para la aplicación de la metodología de Ordenación. Una vez definidos, estos serán aprobados por un acto administrativo de la Agencia de Calidad de la Educación.
El objetivo es poder establecer una respuesta frente a las distintas tipologías de datos faltantes que puedan existir, y de este modo, documentar y estandarizar criterios que permitan garantizar la confiabilidad y validez de su tratamiento. Es importante señalar que las alternativas de tratamiento de datos faltantes deberán estar en concordancia con el hecho de que la Ordenación tiene consecuencias para los establecimientos educacionales.
III. ETAPAS DE LA METODOLOGÍA DE ORDENACIÓN
Etapas de la metodología de Ordenación
La metodología de Ordenación de establecimientos debe velar por el cumplimiento del artículo 17 de la ley SNAC, que establece que la ordenación "debe considerar las características de los alumnos del establecimiento", y, además, debe respetar el artículo 3º de la LGE, que señala que "todos los alumnos, independiente de sus condiciones y circunstancias, alcancen los objetivos generales y los estándares de aprendizaje".
Por lo tanto, la metodología de Ordenación debe evaluar el grado de efectividad del establecimiento, y para esto debe tomar en cuenta las características de sus estudiantes y el contexto en el cual se desempeña. A la vez, debe establecer exigencias que permitan asegurar que todos los alumnos alcancen los Objetivos Generales y los Estándares de Aprendizaje. La metodología descrita a continuación concilia ambos objetivos.
La metodología de Ordenación considera cuatro etapas para su aplicación, como se describe en la figura Nº 1.
Figura Nº 1. Etapas de la metodología
. Adicional a estas cuatro etapas, la metodología contempla la definición de las condiciones que se deben cumplir para que el establecimiento se encuentre en la circunstancia establecida en el artículo 31 de la ley SNAC.
1. Etapa 1: Construcción de índice sin corregir
En esta primera etapa, se procede a construir un índice que agrupa todos los indicadores de resultados educativos que considera la metodología, a saber: Resultados SIMCE y Estándares de Aprendizaje, Medidas de Progreso y Otros Indicadores de Calidad Educativa.
De acuerdo con la ley SNAC (art. 18), los Estándares de Aprendizaje deben tener una ponderación de a lo menos un 67%. Esto implica que el porcentaje restante se debe distribuir entre los indicadores de Puntaje SIMCE, Tendencia SIMCE y los Otros Indicadores de Calidad Educativa.
Procedimiento
En la metodología de Ordenación se ponderan los Otros Indicadores de Calidad Educativa, Tendencia SIMCE y Puntaje SIMCE con el valor más alto posible, dentro de lo que permite la ley. De esta forma, el indicador que mide Estándares de Aprendizaje tiene una ponderación del 67% y los Otros Indicadores de Calidad, Tendencia SIMCE y Puntaje SIMCE, en conjunto, tienen un peso de un 33%, distribuido de manera equitativa entre todos ellos (tal como se muestra en el cuadro Nº 13). El Consejo Nacional de Educación aprobó como Otros Indicadores de Calidad Educativa 8 indicadores que, junto con Tendencia SIMCE y Puntaje SIMCE, conforman un total de 10 indicadores.
Cuadro Nº 13. Indicadores y pesos de los indicadores que componen el Índice sin Corregir
. (*) Se utiliza este indicador solo para los establecimientos mixtos.
(**) Se utiliza este indicador solo para aquellos establecimientos que imparten enseñanza media técnico profesional.
(***) La ponderación de 3,3% para indicadores distintos a Estándares de Aprendizaje se utiliza cuando se calculan todos los indicadores.
Cuando uno de los Otros Indicadores de Calidad no se evalúa, se reasigna de manera equitativa el peso del 33% del resto de los indicadores, sin considerar el indicador de Estándares de Aprendizaje. Así, cuando son 9 indicadores la ponderación sube a 3,66%; cuando se calculan 8 indicadores, a 4,215%, y así sucesivamente, como se especifica en la ecuación Nº 13.
Como resultado de la suma ponderada de estos indicadores se obtiene el Índice sin Corregir y se completa la etapa 1 de la metodología de Ordenación. A continuación se describe de manera analítica la construcción del Índice sin Corregir, en una forma general, en la ecuación Nº 13.
Ecuación Nº 13. Índice sin Corregir (ISC), establecimiento j
. 2. Etapa 2: Corrección por características de los alumnos
Una vez que se obtiene el Índice sin Corregir, este se corrige por una estimación de la influencia que tienen las Características de los Alumnos en los resultados de los estudiantes del establecimiento, para así obtener el Índice Final.
Procedimiento
La influencia de las Características de los Alumnos en los resultados educativos se estima mediante la técnica de regresión lineal multivariada (Mínimos Cuadrados Ordinarios, en adelante MCO) según datos individuales. Posteriormente, se utilizan los coeficientes estimados para corregir los resultados de los estudiantes y calcular un índice para el establecimiento.
Los coeficientes se obtienen de una regresión entre el Índice sin Corregir a Nivel Individual en las Características de los Alumnos a Nivel Individual8.
------------------------------------------------------------------------
8 En enseñanza media, al estimar la regresión se utilizan todos los indicadores y variables, con excepción del Estándar de Aprendizaje de la prueba de inglés de tercero medio.
El Índice sin Corregir a Nivel Individual se construye utilizando todos los indicadores con el menor nivel de agregación posible. Este índice se define en la ecuación Nº 14. El menor nivel de agregación es el de un estudiante "a", en una prueba "p", en el período "t", en el grado "g", en el nivel de enseñanza "n" que está siendo ordenado para el establecimiento "e". Si bien no todos los indicadores se pueden desagregar a nivel de estudiante, se utilizarán en el menor nivel de agregación que cada uno pueda tener.
Ecuación Nº 14. Índice sin Corregir a Nivel Individual
. Las Características de los Alumnos a Nivel Individual corresponden al valor de estas variables para el menor nivel de agregación posible. El menor nivel de agregación es el de un estudiante "a", en el grado "g", en el nivel de enseñanza "n" que está siendo ordenado para el establecimiento "e". Si bien no todas las variables se pueden desagregar a nivel de estudiante, se utilizarán en el menor nivel de agregación que cada una pueda tener.
Dado que las variables individuales consideran el menor nivel de agregación posible, un estudiante será considerado en la regresión tantas veces como pruebas rindió en un determinado grado. Todas las observaciones correspondientes a un estudiante tendrán las mismas Características de los Alumnos a Nivel Individual, ya que se refieren al mismo individuo.
La regresión que se estima tiene como variable dependiente el Índice sin Corregir a Nivel Individual, y como regresores, las Características de los Alumnos a Nivel Individual. La ecuación Nº 15 describe el modelo a partir del cual se estiman los coeficientes con los que se corregirá el Índice sin Corregir.
Ecuación Nº 15. Regresión del Índice sin Corregir a nivel individual en las Características de los Alumnos
. En la ecuación Nº 15 el resultado individual del estudiante se compone de dos partes. La primera equivale a una estimación del resultado del alumno que la metodología atribuye a sus características o las de su entorno. En la ecuación, esta fracción está dada por la expresión c + ∑CAβCA x CANI' que corresponde al resultado promedio de los estudiantes que comparten el mismo nivel de Características de los Alumnos a Nivel Individual. La otra parte de la ecuación Nº 15, εNI' corresponde a la fracción del resultado del alumno que está por sobre o por debajo del estudiante promedio de su mismo nivel de Características de los Alumnos a Nivel Individual. Se considerará que esta parte del resultado del estudiante no es atribuible a su contexto, y se considerará responsabilidad del establecimiento.
Los coeficientes de la regresión se calcularán una sola vez durante la primera Ordenación. En el caso de que alguno de los coeficientes de las variables no sea significativo al 95% de confianza9 o que el coeficiente no tenga el signo en el sentido esperado10 para la variable respectiva, se estimará nuevamente la regresión, excluyendo esa variable, hasta encontrar significancia y el signo en el sentido esperado en todos los coeficientes. Los nuevos coeficientes que resulten de esta regresión (incluyendo la constante) serán los definitivos y se aplicarán en la corrección para todos los años en que se encuentre vigente esta metodología de Ordenación. Los coeficientes de las variables excluidas, de existir, serán iguales a cero.
--------------------------------------------------------------------
9 La significancia se calcula con un procedimiento de bootstrap (block bootstrapping), para dar cuenta de la posible correlación entre los resultados de alumnos de un mismo establecimiento.
10 Todas las variables de Características de los Alumnos están construidas para que un mayor valor en sus escalas refleje mayor dificultad de contexto educativo, con excepción de la variable Entrada de Alumnos con Buen Desempeño Académico. Por lo tanto, todos los coeficientes deben ser negativos con excepción del que corresponde a esta última variable.
Al fijar los coeficientes de la regresión el primer año, la metodología busca resguardar que se entregue a los establecimientos una referencia estable de lo que deben lograr para mejorar su clasificación. De esta forma, los establecimientos son evaluados con la misma "vara" todos los años de vigencia de esta metodología.
Finalmente, la etapa 2 concluye con la elaboración del Índice Final, que es el que se utilizará para la clasificación de los establecimientos en la etapa siguiente, y cuya definición se presenta en la ecuación Nº 16.
El Índice Final corresponde a una resta entre el Índice sin Corregir de la etapa 1 y las Características de los Alumnos de los establecimientos, obtenidos de acuerdo con la forma de construcción y agregación que corresponden a cada una, multiplicadas por los coeficientes βCA estimados en la regresión a nivel individual antes descrita.
Ecuación Nº 16. Índice Final de un establecimiento j
.3. Etapa 3: Clasificación intermedia de establecimientos en cuatro categorías de desempeño según índice final
En la etapa 3 se clasifican los establecimientos en cuatro categorías, empleando el Índice Final.
Procedimiento
La clasificación en esta etapa cumple con dos criterios generales definidos en el marco de la ley SNAC. El primero establece que la clasificación de la Ordenación debe motivar la mejora educacional de los establecimientos, transformándose en una herramienta útil para el sistema educativo. El segundo señala que la clasificación debe identificar de manera eficaz el universo de escuelas que requiere atención y apoyo especial desde el Sistema de Aseguramiento de la Calidad.
Estos criterios permiten definir los valores del Índice Final que determinan los límites entre las categorías, valores que luego de la primera Ordenación (es decir, para las siguientes ordenaciones) se mantendrán fijos durante todo el período de vigencia de esta metodología, para generar una referencia estable a los establecimientos.
Los límites entre las categorías que se establecen a partir de la distribución del Índice Final de la primera Ordenación pueden ser resumidos en la siguiente notación:
Límite Nº 1: Entre las categorías Alto y Medio, percentil 8511
P85 (Índice Final)
Límite Nº 2: Entre las categorías Medio y Medio-Bajo, percentil 3512
P35 (Índice Final)
Límite Nº 3: Entre las categorías Medio-Bajo e Insuficiente, percentil 1213
P12 (Índice Final)
El primer año de la Ordenación, el procedimiento de clasificación de esta tercera etapa de la metodología se realizará del siguiente modo:
- Los establecimientos que tengan valores del Índice Final hasta el valor del percentil 12 (inclusive) de la distribución de este índice se clasificarán en la categoría Desempeño Insuficiente.
- Los establecimientos que presenten valores del Índice Final por sobre el valor del percentil 12 y hasta el percentil 35 (inclusive) se clasificarán en la categoría Desempeño Medio-Bajo.
- Los establecimientos que se sitúen por sobre el valor del percentil 35 y hasta el percentil 85 (inclusive) de la distribución del índice Final se clasificarán en la categoría Desempeño Medio.
- Los establecimientos con valores del Índice Final superiores al valor del percentil 85 de la distribución de este índice se clasificarán en la categoría Desempeño Alto.
En la figura Nº 2 se representan gráficamente las categorías conformadas a partir de estos límites. En el eje y de este gráfico se presenta el Índice sin Corregir, y en el eje x se encuentra el Índice de Características de los Alumnos (CA), que corresponde a una medida de la dificultad que presenta el contexto de enseñanza al establecimiento educacional. El índice CA se define como la suma del producto entre el valor promedio del establecimiento para cada una de las variables de Características de los Alumnos y el coeficiente de la regresión asociado a cada una de ellas, multiplicada por -1.
Las líneas continuas entre colores dibujan los límites entre las cuatro categorías definidas según los valores establecidos. En cada región coloreada se presenta el porcentaje de la distribución que se concentra en cada una de las categorías aquí definidas a partir de la clasificación según el Índice Final.
En esta figura, la zona azul corresponde a los establecimientos que quedan en la categoría Desempeño Medio. Los establecimientos de esta zona consiguen un desempeño cercano a lo esperado, lo que está marcado por la recta de Resultado Esperado. Aquellos establecimientos que logran resultados considerablemente mejores a lo esperado se encuentran en la zona verde y serán clasificados como establecimientos de Desempeño Alto. Por último, los que logran resultados menores o muy por debajo de lo esperado se ubican en la zona gris y naranja, que corresponden al desempeño Medio-Bajo e Insuficiente, respectivamente.
Figura Nº 2. Presentación gráfica de la recta de Resultado Esperado, las categorías de la Ordenación, sus tamaños y límites
. Una vez obtenidos los valores del Índice Final que corresponden a los percentiles 12, 35 y 85 en la primera Ordenación, quedarán fijos y serán los valores que determinarán los límites entre las categorías que se utilizarán para efectuar la tercera etapa de la clasificación en las siguientes ordenaciones.
Fijar los límites de las categorías el primer año permite asegurar la comparabilidad de los resultados de la clasificación a lo largo del tiempo; no obstante, habrá una excepción a esta regla durante el año 2017, cuando séptimo y octavo pasen a formar parte de la enseñanza media. En ese año, para ambos niveles de enseñanza, se deberá mantener fijas las proporciones (tamaños) de cada categoría obtenidas el año anterior (2016), y no los puntajes de corte obtenidos el primer año de Ordenación, como en los años anteriores. Esto es necesario debido a que los puntajes de corte de la clasificación son distintos en enseñanza básica y en enseñanza media. Desde el año 2018 en adelante se mantendrán fijos los nuevos puntajes de corte obtenidos el año 2017, considerando esta nueva conformación de grados en los niveles de enseñanza. Estos nuevos puntajes de corte deben fijarse exclusivamente por el ajuste en el tamaño de las categorías (para que sean equivalentes en los años 2016 y 2017), y no por cambios en los parámetros que se utilizan para obtener los valores de los indicadores o índices.
4. Etapa 4: clasificación definitiva de establecimientos posterior a la aplicación de filtros
En la última etapa se ajusta la clasificación intermedia de la etapa 3 aplicando filtros. Una vez que se emplea este procedimiento, se obtiene la clasificación definitiva.
Los filtros se definen como un conjunto de condiciones de Estándares de Aprendizaje y Otros Indicadores de Calidad Educativa que pueden modificar la clasificación intermedia de la etapa anterior. Esta herramienta se hace cargo de posibles imperfecciones de estimación de la clasificación obtenida a partir del Índice Final y busca promover que todos los estudiantes, independiente de sus condiciones y circunstancias, alcancen los Objetivos Generales y los Estándares de Aprendizaje (LGE, art. 3º, letra b).
Los filtros corresponden a criterios independientes de las Características de los Alumnos, que se aplican a todos los establecimientos, pero que en la práctica, operan de manera excepcional. La metodología considera cuatro filtros: filtro techo, filtro 1, filtro 2 y filtro piso. El filtro techo resguarda la coherencia de los resultados de la Ordenación con otras medidas que indican resultados sobresalientes y asegura que todos los establecimientos puedan acceder a la categoría Alto. El filtro 1 y el filtro 2 tienen por objetivo que no existan establecimientos con distribuciones similares en los Estándares de Aprendizaje y que queden clasificados en las categorías de desempeño opuestas de la Ordenación, es decir, en Desempeño Alto e Insuficiente. El filtro 1 además resguarda que no haya establecimientos con bajos resultados que puedan formar parte del Registro de Asistencia Técnico Educativa. El filtro 2 también tiene como objetivo priorizar las visitas evaluativas y el Apoyo Técnico Pedagógico a establecimientos con resultados educativos comparativamente peores que el resto de los establecimientos. El filtro piso busca garantizar que todos los establecimientos, independiente de sus condiciones de contexto, alcancen los Objetivos Generales y los Estándares de Aprendizaje.
Procedimiento
El cuadro Nº 14 describe el conjunto de condiciones de Estándares de Aprendizaje14 y de Otros Indicadores de Calidad Educativa que definen cada filtro. El cuadro Nº 15 especifica los valores límite de los Otros Indicadores de Calidad Educativa mencionados en el cuadro Nº 14.
----------------------------------------------------------------
11 Un establecimiento justo en este límite quedará clasificado en Medio.
12 Un establecimiento justo en este límite quedará clasificado en Medio-Bajo.
13 Un establecimiento justo en este límite quedará clasificado en Insuficiente.
14 Las condiciones de los filtros están referidas a todos los Estándares de Aprendizaje, con excepción del Estándar de Aprendizaje de la prueba de inglés de tercero medio.
En la medida que un establecimiento cumpla con las condiciones estipuladas en el cuadro Nº 14, su clasificación final estará determinada por el filtro, independiente de su clasificación intermedia elaborada en base al Índice Final.
Cuadro Nº 14. Descripción de filtros y sus condiciones
. Respecto del filtro piso, las condiciones de Estándares de Aprendizaje que se presentan en el cuadro Nº 14, podrían variar de acuerdo al porcentaje de estudiantes en el Nivel de Aprendizaje Insuficiente correspondiente a establecimientos clasificados en la categoría Desempeño Insuficiente en la Ordenación, antes de aplicar filtros. Si ese porcentaje es mayor que 73%, se redefinen las dos condiciones de Estándares de Aprendizaje del filtro piso. En la primera condición se remplaza 70% por el porcentaje obtenido más 5%, y en la segunda condición se remplaza 75% por el porcentaje obtenido más 10%. Las nuevas condiciones de estándares se computan una sola vez, y se dejan fijas, hasta el año 2017 cuando se repite este procedimiento. El procedimiento se hace de forma separada para educación básica y educación media.
Cuadro Nº 15. Valores límite de los Otros Indicadores de Calidad Educativa
. Los límites descritos en el cuadro Nº 15 fueron definidos de acuerdo a los criterios que se describen a continuación.
En el caso de los indicadores construidos sobre la base de los cuestionarios SIMCE (Autoestima académica y motivación escolar, Clima de convivencia escolar y Participación y formación ciudadana), los valores críticos corresponden a puntajes que representan una evaluación desfavorable del constructo evaluado.
En el caso del indicador Asistencia escolar, el valor crítico definido para el establecimiento equivale al porcentaje mínimo de asistencia exigido a los estudiantes para ser promovidos de curso, tanto en los niveles de enseñanza básica como en enseñanza media, valor que corresponde al 85%15.
En el caso del indicador Equidad de género, el valor del índice demuestra que hay brechas considerables entre hombres y mujeres en los resultados, en pruebas y años reiterados.
En el caso del indicador Retención escolar, la cota inferior definida corresponde al valor del indicador equivalente a una tasa de retención del 95% de los estudiantes matriculados16.
-------------------------------------------------------------
15 Como se desprende del texto, el valor límite de 85% de asistencia promedio en el establecimiento no corresponde a 85 puntos en el indicador Asistencia para el establecimiento.
16 Como se desprende del texto, el valor límite de 95% de retención de los estudiantes matriculados que es exigido según este criterio no significa que se exijan 95 puntos en el indicador Retención escolar.
Para el indicador Titulación técnico profesional, el límite se establece en el valor que corresponda al percentil 7 de la distribución en este indicador, o al percentil 10, en caso que el valor del percentil 7 sea igual a cero.
5. Procedimiento para determinar el grado de cumplimiento de los estándares de aprendizaje señalado en el artículo 31 de la ley SNAC
De acuerdo con la ley SNAC, los establecimientos que sean evaluados en la categoría Desempeño Insuficiente deberán recibir apoyo técnico pedagógico hasta que abandonen dicha categoría o por un plazo máximo de cuatro años. Si después de ese período un establecimiento permanece en la categoría Desempeño Insuficiente, pero muestra una mejora significativa en sus resultados educativos, deberá continuar recibiendo un año adicional de apoyo, y por lo tanto, tendrá que ser ordenado nuevamente al año siguiente (ley SNAC, art. 29).
Será la Agencia de Calidad de la Educación la encargada de definir los criterios para determinar la mejora significativa de los resultados educativos de un establecimiento educacional, los cuales deben guardar relación con los Estándares de Aprendizaje y los Otros Indicadores de Calidad Educativa (ley SNAC, art. 29).
Si después de cuatro o cinco años, según sea el caso, un establecimiento educacional se mantiene en la categoría Desempeño Insuficiente considerando como único factor el grado de cumplimiento de los Estándares de Aprendizaje, la Agencia certificará dicha circunstancia y por el solo ministerio de la ley el establecimiento perderá el reconocimiento oficial (ley SNAC, art. 31).
En razón a lo anterior, un establecimiento educacional se encontrará en la circunstancia establecida en el artículo 31 de la ley SNAC, cuando cumple las siguientes dos condiciones:
i. Condición 1: el establecimiento educacional posee el 55% o más del total de las mediciones en el Nivel de Aprendizaje Insuficiente, y
ii. Condición 2: el establecimiento educacional posee el 55% o más de los resultados de la última medición en el Nivel de Aprendizaje Insuficiente.
Artículo único transitorio: La metodología de ordenación de establecimientos educacionales aprobada a través de este decreto, comenzará a regir a partir del mes de diciembre del año 2015.Decreto 302, EDUCACIÓN
Art. ÚNICO
D.O. 10.11.2014
Art. ÚNICO
D.O. 10.11.2014
En el Decreto 357, EDUCACIÓN
Art. ÚNICO
D.O. 25.01.2017caso del nivel de educación media, esta metodología de ordenación comenzará a regir a partir del mes de diciembre del año 2016.
Art. ÚNICO
D.O. 25.01.2017caso del nivel de educación media, esta metodología de ordenación comenzará a regir a partir del mes de diciembre del año 2016.
Anótese, tómese razón y publíquese.- SEBASTIÁN PIÑERA ECHENIQUE, Presidente de la República.- Carolina Schmidt Zaldívar, Ministra de Educación.
Lo que transcribo a usted para su conocimiento. Saluda atentamente a usted, Fernando Rojas Ochagavía, Subsecretario de Educación.