Sesgos y más sesgos
Como decíamos en el artículo anterior, la filosofía experimental del lenguaje intenta responder a los problemas tradicionales en filosofía del lenguaje usando métodos cuantitativos, métodos que provienen en su mayor parte de las ciencias cognitivas, concretamente el uso de encuestas o cuestionarios. Este cambio metodológico supuso una mejora ostensible. Los estudios ya no se basaban en las intuiciones de una hablante competente, sino en las de un grupo de ellas. Sin embargo, esta nueva metodología también tenía algunas deficiencias:
Primero, aunque ahora el número de casos considerados era mayor que antes, tampoco era lo suficientemente amplio ni diverso como para no pensar que se estaban dejando de lado casos potencialmente relevantes. Hacer afirmaciones de carácter general sobre cómo funcionan los lenguajes a partir de la intuición de una persona puede ser sin duda un error. Sin embargo, hacer afirmaciones de carácter general sobre cómo funcionan los lenguajes a partir de las intuiciones de 30 o 40 personas, 100 en el mejor de los casos, puede que también lo sea. Uno de los problemas que tienen los estudios en filosofía experimental del lenguaje es que los grupos suelen ser demasiado homogéneos. Con mucha frecuencia las únicas variables que se suelen tener en cuenta son el género y la edad. Esto contrasta en gran medida con algunos campos como la lingüística de corpus o la sociolingüística donde, además de las dos variables antes mencionadas, se suelen tener en cuenta también la región del país en la que vive la persona, el nivel de estudios o la profesión.
Segundo, aunque la filosofía del lenguaje intentó librarse del elemento cualitativo / subjetivo aplicando métodos cuantitativos, ciertos aspectos de la misma metodología empleada, el uso de cuestionarios, hizo esto imposible. Toda investigación que haga uso de cuestinarios está sujeta a la influencia de una serie de sesgos de tipo cualitativo que tienen que ver con cosas tan distintas como la propia psicología humana, o la arquitectura de los medios de difusión del conocimiento científico. Algunos de estos sesgos son:
El omnipresente sesgo de publicación: ya que muchas revistas científicas no publican estudios con resultados inconcluyentes, el deseo de los equipos investigadores a veces influye en los propios resultados, ocasionando de esta manera falsos positivos. Buena prueba de ello es la gran cantidad de comentarios en Twitter alabando la publicación de estudios con resultados nulos, e incluso algunos de ellos confirmando la existencia misma del sesgo:
El problema del archivador: vista la tendencia que tienen muchas revistas a no publicar estudios con resultados nulos, no podemos saber el número de estudios con este tipo de resultados que se han hecho en un campo de conocimiento dado y que nunca se han publicado. Si el número fuera muy grande, esto influiría en la proporción entre los artículos que prueban una hipótesis dada, y los artículos que son inconcluyentes respecto a dicha hipótesis. Esto, al final, influiría en la evidencia total a favor de la hipótesis en cuestión.
El sesgo de investigación: el equipo investigador, al idear el cuestionario, puede influir de tal forma que haga más probable que se obtenga el resultado esperado. Supongamos que se quiere probar una hipótesis a. Es posible que el equipo investigador, al conocer previamente la hipótesis a que se prentende probar, formule las preguntas de tal manera que las respuestas de las personas encuestadas prueben la hipótesis a. Esta es una de las razones por las que cada vez es más usual que las personas que diseñan las preguntas del cuestionario desconozcan las hipótesis que el estudio pretende probar o refutar.
En conclusión, aunque la filosofía experimental del lenguaje cuenta con una metodología cuantitativa, el elemento cualitativo / subjetivo sigue presente por medio de varios sesgos. Algunos tienen que ver con temas relacionados con la estructura y la difusión del conocimiento científico, y otros con nuestros deseos de obtener los resultados que esa estructura demanda, pero todos juntos hacen que una disciplina cuantitativa como la filosofía experimental del lenguaje cuente con elementos cualitativos / subjetivos. En el siguiente artículo examinaremos una posible solución a estos problemas: la lingüística de corpus como nueva metodología para la filosofía experimental del lenguaje.
