Prueba de hipótesis sugeridas por los datos - Testing hypotheses suggested by the data
En estadística , es probable que las hipótesis sugeridas por un conjunto de datos dado , cuando se prueben con el mismo conjunto de datos que las sugirió, sean aceptadas incluso cuando no sean ciertas. Esto se debe a que estaría involucrado el razonamiento circular (doble inmersión): algo parece cierto en el conjunto limitado de datos; por tanto, planteamos la hipótesis de que es cierto en general; por lo tanto, lo probamos (erróneamente) en el mismo conjunto de datos limitado, lo que parece confirmar que es cierto. Generar hipótesis basadas en datos ya observados, en ausencia de probarlas con datos nuevos, se denomina teorización post hoc (del latín post hoc , "después de esto").
El procedimiento correcto es probar cualquier hipótesis en un conjunto de datos que no se utilizó para generar la hipótesis.
El problema general
Probar una hipótesis sugerida por los datos puede resultar muy fácilmente en falsos positivos ( errores de tipo I ). Si uno mira lo suficiente y en lugares lo suficientemente diferentes, eventualmente se pueden encontrar datos para apoyar cualquier hipótesis. Sin embargo, estos datos positivos no constituyen por sí mismos evidencia de que la hipótesis sea correcta. Los datos negativos de las pruebas que se descartaron son igualmente importantes, porque dan una idea de cuán comunes son los resultados positivos en comparación con el azar. Ejecutar un experimento, ver un patrón en los datos, proponer una hipótesis a partir de ese patrón, luego usar los mismos datos experimentales como evidencia para la nueva hipótesis es extremadamente sospechoso, porque los datos de todos los demás experimentos, completados o potenciales, esencialmente se han "arrojado out "eligiendo mirar sólo los experimentos que sugirieron la nueva hipótesis en primer lugar.
Un gran conjunto de pruebas, como se describe anteriormente, aumenta en gran medida la probabilidad de error de tipo I, ya que se descartan todos los datos menos los más favorables a la hipótesis . Este es un riesgo, no solo en la prueba de hipótesis sino en todas las inferencias estadísticas, ya que a menudo es problemático describir con precisión el proceso que se ha seguido para buscar y descartar datos . En otras palabras, uno quiere mantener todos los datos (sin importar si tienden a apoyar o refutar la hipótesis) de "buenas pruebas", pero a veces es difícil averiguar qué es una "buena prueba". Es un problema particular en el modelado estadístico , donde muchos modelos diferentes son rechazados por ensayo y error antes de publicar un resultado (ver también sobreajuste , sesgo de publicación ).
El error es particularmente frecuente en la minería de datos y el aprendizaje automático . También ocurre comúnmente en publicaciones académicas donde solo los informes de resultados positivos, en lugar de negativos, tienden a ser aceptados, lo que resulta en el efecto conocido como sesgo de publicación .
Procedimientos correctos
Todas las estrategias para la prueba sólida de hipótesis sugeridas por los datos implican incluir una gama más amplia de pruebas en un intento de validar o refutar la nueva hipótesis. Éstas incluyen:
- Recolección de muestras de confirmación
- Validación cruzada
- Métodos de compensación para comparaciones múltiples
- Estudios de simulación que incluyan una representación adecuada de las pruebas múltiples realmente involucradas
La prueba simultánea de Henry Scheffé de todos los contrastes en problemas de comparación múltiple es el remedio más conocido en el caso del análisis de varianza . Es un método diseñado para probar hipótesis sugeridas por los datos evitando la falacia descrita anteriormente.
Ver también
- Corrección de Bonferroni
- Análisis de los datos
- Dragado de datos
- Análisis exploratorio de datos
- HARKing
- Análisis post hoc
- Analítica predictiva
- La falacia del francotirador de Texas
- Errores tipo I y tipo II
- Ciencia incómoda