Marco de excelencia en investigación - Research Excellence Framework

El Research Excellence Framework ( REF ) es una evaluación del impacto de la investigación de las instituciones de educación superior británicas. Es el sucesor del ejercicio de evaluación de la investigación y se utilizó por primera vez en 2014 para evaluar el período 2008-2013. REF está a cargo de los cuatro educación superior del Reino Unido organismos de financiación: Investigación Inglaterra , el Consejo de Financiación de Escocia (SFC), el Consejo de Financiación de Educación Superior para Gales (HEFCW), y el Departamento de Economía , Irlanda del Norte (DfE).

Sus objetivos declarados son garantizar la rendición de cuentas por la inversión pública en investigación, establecer "criterios de reputación" y, por lo tanto, lograr una asignación eficiente de recursos. Los críticos sostienen, entre otras cosas, que se presta demasiada atención al impacto de la investigación fuera del sistema universitario y que el impacto no tiene una relevancia real para la calidad de la investigación. Se sugiere que REF en realidad fomenta la mediocridad en la investigación publicada y desalienta la investigación que podría tener valor a largo plazo. Se ha argumentado repetidamente que REF hace más daño que bien a la educación superior.

La siguiente iteración del REF sería en 2021, continuando con el modelo de evaluación anterior de centrarse en los resultados de la investigación, el impacto de la investigación y el entorno de investigación. Sin embargo, el proceso se ha retrasado debido a la pandemia de COVID-19 .

Historia

En junio de 2007, el Consejo de Financiamiento de la Educación Superior de Inglaterra (HEFCE) emitió una carta circular anunciando que un nuevo marco para evaluar la calidad de la investigación en las universidades del Reino Unido reemplazaría el Ejercicio de Evaluación de la Investigación (RAE), después del RAE de 2008. La siguiente cita de la carta indica algunas de las motivaciones originales:

Nuestros objetivos clave para el nuevo marco serán:

  • Producir indicadores sólidos de excelencia en investigación en todo el Reino Unido para todas las disciplinas que se puedan utilizar para comparar la calidad con los estándares internacionales y para impulsar la financiación del Consejo para la investigación.
  • Proporcionar una base para la distribución de fondos principalmente por referencia a la excelencia en la investigación, y para financiar una excelente investigación en todas sus formas dondequiera que se encuentre.
  • reducir significativamente la carga administrativa de las instituciones en comparación con el RAE
  • para evitar la creación de incentivos conductuales indeseables
  • promover la igualdad y la diversidad
  • para proporcionar un marco estable para nuestro apoyo continuo de una base de investigación líder en el mundo dentro de la educación superior.

La carta también establece un calendario para el desarrollo de la REF. HEFCE llevó a cabo un ejercicio de consulta durante septiembre-diciembre de 2009, solicitando respuestas de las partes interesadas sobre las propuestas. Estos incluyen, por ejemplo, la respuesta de Universities UK y la respuesta de University and College Union .

En julio de 2010 (tras las elecciones generales de mayo de 2010 ), el ministro de Universidades y Ciencia, David Willetts, anunció que la REF se retrasaría un año para evaluar la eficacia de la medida de impacto.

En julio de 2016, se publicó la revisión de Lord Nicholas Stern , que redactaba las pautas generales para la próxima REF en 2021. En general, la revisión apoyó la metodología utilizada en 2014 para evaluar la investigación de las universidades, sin embargo, enfatizó la necesidad de un mayor compromiso con la público en general y el aumento del número de estudios de casos que adoptaron un enfoque interdisciplinario . El equipo de Research-impact.org de la Escuela de Economía y Negocios de la Universidad de Loughborough ha estado experimentando con el crowdfunding para la investigación con el fin de aumentar la participación pública de los investigadores de la universidad.

Impacto de la investigación

El impacto de REF se definió como "un efecto, cambio o beneficio para la economía, la sociedad, la cultura, las políticas o servicios públicos, la salud, el medio ambiente o la calidad de vida, más allá de la academia".

Criterio de evaluación

Las presentaciones se evalúan de acuerdo con los siguientes criterios:

  • Cuatro estrellas: Calidad líder mundial en originalidad, significación y rigor.
  • Tres estrellas: Calidad que es internacionalmente excelente en originalidad, significación y rigor, pero que no alcanza los más altos estándares de excelencia.
  • Dos estrellas: Calidad reconocida internacionalmente en originalidad, significación y rigor.
  • Una estrella: Calidad reconocida a nivel nacional en originalidad, significación y rigor.
  • Calidad no clasificada: que cae por debajo del estándar de trabajo reconocido a nivel nacional. O trabajo que no cumple con la definición publicada de investigación para los propósitos de esta evaluación.

Clasificaciones de desempeño

Dos editoriales, The Guardian y Times Higher Education , producen clasificaciones generales de universidades multidisciplinarias basadas en el poder y la calidad (GPA).

Los rankings de poder tienen como objetivo mostrar universidades con una amplitud de calidad, mientras que los rankings de calidad tienen como objetivo mostrar la profundidad de la calidad.

Las clasificaciones de Guardian Power solo consideran las clasificaciones calificadas con cuatro y tres estrellas, mientras que las clasificaciones de Times Higher Education Power consideran las clasificaciones de todas las clasificaciones.

Un ranking de calidad adicional es el que clasifica a las instituciones de acuerdo con la proporción de su investigación calificada como "Cuatro estrellas". Es decir, las investigaciones presentadas calificadas como "Calidad líder mundial en originalidad, significación y rigor".

Clasificación EL eléctricos para la Investigación 10 The Guardian Research Power Top 10 THE Quality (GPA) Top 10 Top 10 para el% más alto con la investigación 'líder mundial'
1 University College de Londres Universidad de Oxford Colegio Imperial de Londres Escuela de Economía de Londres
2 Universidad de Oxford University College de Londres Escuela de Economía de Londres Universidad de Oxford
3 Universidad de Cambridge Universidad de Cambridge Universidad de Oxford Universidad de Cambridge
4 Universidad de Edimburgo Universidad de Edimburgo Universidad de Cambridge Colegio Imperial de Londres
5 Universidad de Manchester Universidad de Manchester Universidad de Cardiff University College de Londres
6 King's College de Londres Colegio Imperial de Londres King's College de Londres Universidad de Cardiff
7 Universidad de Nottingham King's College de Londres University College de Londres King's College de Londres
8 Colegio Imperial de Londres Universidad de Nottingham Universidad de Warwick Universidad de Edimburgo
9 Universidad de bristol Universidad de bristol Universidad de Edimburgo Universidad de Warwick
10 Universidad de Leeds Universidad de Leeds Universidad de bristol Universidad de bristol

Dado que los porcentajes de personal elegible presentado en la evaluación REF son significativamente diferentes en diferentes universidades, Times Higher Education también proporciona una clasificación de intensidad de investigación que considera la proporción del personal elegible presentado. En este ranking REF de intensidad de investigación, las treinta mejores universidades, excluidas tres instituciones especializadas, son las siguientes.

Clasificación EL Top 30 de intensidad de investigación
1 Universidad de Cambridge
2 Colegio Imperial de Londres
3 University College de Londres
4 Universidad de bristol
5 Universidad de Oxford
6 Escuela de Economía y Ciencias Políticas de Londres
7 Universidad de la Reina de Belfast
7 Universidad de Southampton
9 Universidad de Warwick
10 Universidad de Edimburgo
11 Universidad de Loughborough
12 Universidad de Glasgow
13 Universidad de St Andrews
14 King's College de Londres
15 Universidad de Strathclyde
dieciséis Universidad de Exeter
dieciséis Universidad de Kent
dieciséis Universidad de Reading
19 Universidad de Essex
20 Universidad de Birmingham
21 Universidad de Durham
21 Goldsmiths, Universidad de Londres
23 Universidad de Newcastle
23 Universidad de Manchester
25 Universidad de Nottingham
26 Universidad de Lancaster
27 Birkbeck, Universidad de Londres
28 Royal Holloway, Universidad de Londres
29 Universidad de York
30 Universidad de Sheffield

Controversias y críticas

Una fuente particular de crítica ha sido el elemento de la REF que aborda el "impacto" de la investigación. Los artículos siguientes plantean dos objeciones. La principal es que "impacto" se ha definido como un impacto fuera de la academia. Si los investigadores tuvieran que perseguir esta forma de impacto, socavaría la libertad académica . La otra es que el impacto, tal como se interpreta actualmente, es difícil de medir de una manera que se considere justa e imparcial.

El Consejo de Financiamiento de la Educación Superior de Inglaterra sostiene que su medida de "impacto" es amplia y abarcará el impacto sobre la "economía, la sociedad, las políticas públicas, la cultura y la calidad de vida". Sin embargo, la estructura de la evaluación hace que el impacto que se pueda reclamar en la práctica sea bastante estrecho (límite de 4 páginas, sin sección de método, 10 referencias de impacto, 10 referencias de investigación y solo 1 página para resumir la investigación y el impacto, respectivamente). Estas estrictas pautas discursivas junto con la noción anticuada de la REF de cómo funciona el impacto de la investigación (excluyendo el impacto de la investigación en la enseñanza, modelo lineal, etc.) restringen qué impacto se adapta prácticamente más a la evaluación.

Otra área de crítica, que la REF heredó de la estructura de la RAE, es que para la mayoría de los miembros del personal a tiempo completo, la presentación normalmente consiste en cuatro 'ítems de resultados de investigación' publicados. No se reconoce la diferencia entre un libro y un artículo en términos de valor de investigación. Por lo tanto, el sistema REF desalienta los proyectos a largo plazo que buscan la excelencia. Este problema es particularmente evidente en las humanidades, donde la mayoría de las investigaciones innovadoras tradicionalmente no se publican en artículos. Por lo tanto, muchos investigadores se ven empujados hacia una actividad relativamente mediocre, que les permitirá producir uno o dos libros durante el período de evaluación, pero no el tipo de monografía que normalmente necesitaría cuatro o cinco años de investigación y redacción.

Además, el sistema de los cuatro elementos publicados desalienta los proyectos a largo plazo con un riesgo de investigación relativamente alto también en las ciencias, ya que los investigadores se muestran reacios a participar en proyectos o experimentos que pueden no tener éxito y no dar lugar a una publicación. Dado que la mayor parte de la investigación pionera en las ciencias se lleva a cabo precisamente con proyectos tan arriesgados e imaginativos, el tipo de actividad de investigación que fomenta la estructura REF es bastante conservador. Además, en términos del impacto de la investigación examinada, en la historia de las ciencias y las humanidades no es inusual tomar algún tiempo hasta que se produzca el impacto total de un descubrimiento. El sistema actual tiene una perspectiva de sólo cuatro o cinco años.

El Times Higher Education también reveló que algunas universidades parecían estar "jugando" al sistema REF. Esto incluyó la "caza furtiva REF", en la que el personal con antecedentes de investigación establecidos fue reclutado de sus universidades inmediatamente antes de la REF, dando a la institución de caza furtiva todo el crédito por sus publicaciones sin haber asumido el riesgo de apoyar al investigador. También incluyó emplear un gran número de personal con contratos de 0,2 FTE, el nivel más bajo de empleo que los califica para la presentación de REF.

Además de estas preocupaciones sobre lo que realmente se puede medir con cuatro elementos de resultados de investigación y cómo se puede medir el impacto, a menudo se critica a todo el sistema por ser innecesariamente complejo y costoso, mientras que la evaluación de la calidad en la era digital podría ser mucho más simple y eficaz.

El sistema, con sus implicaciones financieras asociadas, también ha sido criticado por desviar recursos de la enseñanza. Como tal, los aumentos en las tarifas de los estudiantes a menudo no han dado lugar a que el personal dedique más tiempo a la enseñanza.

En julio de 2016, se publicó la revisión de Lord Nicholas Stern , que redactaba las pautas generales para la próxima REF en 2021. Una de las recomendaciones fue aumentar la participación del público en la investigación. La participación en la investigación significa mejorar la entrega de los beneficios de la investigación. También significa hacer que el público sea más consciente de los resultados de la investigación y sus implicaciones. Un mecanismo para la participación pública es el crowdfunding para la investigación, donde las plataformas dedicadas albergan campañas de crowdfunding para la investigación universitaria, en una variedad de temas. El crowdfunding para la investigación tiene dos ventajas: una, es una fuente de financiación garantizada relativamente alta, con una tasa de alrededor del 50%; segundo, es una herramienta muy eficaz para interactuar con el público en general.

Un problema que la revisión de Stern no abordó en relación con la evaluación de impacto de la investigación es que la estructura de la plantilla de diseño del estudio de caso en la que se evalúa el impacto no contiene una sección de método y, por lo tanto, se hace la evaluación de qué tipo de impacto se reclamó un juego retórico de quién puede reclamar más (cf. Brauer, 2018). Por lo tanto, las grandes reclamaciones están incentivadas por la estructura de evaluación. El problema ocurre porque los juicios cualitativos sobre la importancia y el alcance del impacto (sin una explicación del método subyacente) cimentan los valores contemporáneos en la evaluación, como tal; "[…] Llámelo construido socialmente, aprendizaje mutuo, práctica social como sea, la clave es que no podemos separar las características del Impacto del proceso impuesto al valor y reconocerlo como tal " (Derrick, 2018: 160). la referencia de las afirmaciones actuales, estos no eran accesibles (por ejemplo, los sitios web relevantes fueron eliminados), referenciados de tal manera que no reflejaban la autoría propia o los testimonios de personas relacionadas con el investigador (Brauer, 2018: 142- 147). De manera similar, Sayer (2014) critica la revisión general por pares del proceso REF, describiéndolo como un pobre simulacro de calidad académica estándar y que el proceso de evaluación se complica aún más por la gran carga de trabajo de la evaluación (p. 35). En una nota similar, un estudio de RAND encontró que la mayoría de las referencias nunca fueron consultadas, ciertos paneles de evaluación no se animaron a usar Internet y la estructura de ayuda de referencia de la REF tardó a veces dos semanas en producir referencias asociadas. Por lo tanto, el enfoque de impacto externo disciplina la evaluación para enfocarse en valores externos.

En 2018, se dijo que REF tiene efectos negativos en las humanidades.

Ver también

Referencias

enlaces externos