Sociológica, año 32, número 90, enero-abril de 2017, pp. 277-301

La evaluación cuantitativa
del trabajo académico: tres analogías

The Quantitative Assessment
of Academic Work: Three Analogies

Héctor Vera*

RESUMEN

Este texto describe, primero, cómo se han utilizado las analogías para la investigación sociológica y que funciones heurísticas pueden tener. Posteriormente, se realizan una serie de analogías en las que se comparan los métodos cuantitativos de la evaluación del trabajo académico con tres instancias donde se han introducido métodos cuantitativos para valorar, clasificar y administrar el trabajo y las aptitudes humanas: 1) las plantaciones de esclavos, 2) la sabermetría y 3) la calificación crediticia. Estas comparaciones por analogía se realizan con el fin de encontrar relaciones de similitud que permitan comprender mejor la lógica, función y consecuencias de los procesos de cuantificación (al margen del contexto social específico en el que se llevan a cabo).

palabras clave : Analogía; cuantificación; evaluación.

 

ABSTRACT

This article first describes how analogies have been used for sociological research and the heuristic functions they can have. Then, the author makes a series of analogies comparing quantitative methods of evaluating academic work with three places in which quantitative methods have been introduced to assess, classify, and manage work and human aptitudes: 1) slave plantations; 2) sabermetrics; and 3) credit ratings. The author makes these comparisons by analogy in order to find relationships of similarity that make it possible to better understand the logic, function, and consequences of quantification processes, regardless of the specific social context in which they are found.

Key words: analogy, quantification, evaluation.

 

Cuando uno está enfermo, los sueños se distinguen a menudo
por su insólita relevancia, intensidad y extraordinaria analogía con la vida real.
Fiódor Dostoyevski, Crimen y castigo (2012: 101)

 

Sociología y analogía

 

Hacer una analogía, en su sentido más básico, significa encontrar una relación de similitud entre objetos distintos. Se trata de una forma de razonamiento que parte del supuesto de que si dos o más cosas son parecidas en alguna propiedad, atributo, efecto o función, probablemente lo serán también en otras propiedades, atributos, efectos o funciones (aunque sean cosas completamente distintas en todos sus demás aspectos).

A pesar de que desde la generación de los autores clásicos de la sociología –como Durkheim, Weber y Simmel– se ha utilizado y reflexionado sobre la analogía como procedimiento fructífero para investigar y teorizar (Swedberg, 2014: 83-86), son escasos los trabajos explícitos para entender mejor en qué consiste y cuáles son las ventajas de incorporar metódica y controladamente el uso de las analogías en el quehacer sociológico.1

Una de las defensas mejor conocidas del uso de la analogía es la que hicieron Bourdieu, Chamboredon y Passeron. La analogía, decían, sirve para la construcción de hipótesis y del objeto de estudio. En sus palabras, “la comparación orientada por la hipótesis de las analogías constituye no sólo el instrumento privilegiado de la ruptura con los datos preconstruidos, que pretenden insistentemente ser considerados en sí mismos y por sí mismos, sino también el principio de la construcción hipotética de relaciones entre relaciones” (Bourdieu, Chamboredon y Passeron, 1993: 76). El procedimiento analógico puede así constituirse en un “resorte heurístico de las generalizaciones y de las transposiciones fundadas en una teoría” (Bourdieu, Chamboredon y Passeron, 1993: 274).

Al estudiar una serie de casos isomorfos –sostenían estos sociólogos– se puede develar una lógica sistemática que no es igualmente visible en todas las instancias (como hizo, por ejemplo, Goffman al emparentar a los hospitales psiquiátricos con los cuarteles e internados). La analogía entre grupos de fenómenos de distinto tipo puede facilitar que éstos se esclarezcan mutuamente. Para ello, se deben multiplicar las hipótesis de analogías posibles con el fin de construir la “especie” (de casos) que explique la instancia particular considerada. Se trata, pues, de ir más allá del rastreo de paralelismos inciertos o de establecer supuestas influencias; hay que dejar a un lado las apariencias superficiales entre fenómenos y acentuar las afinidades en su lógica de operación (Bourdieu, Chamboredon y Passeron, 1993: 72-76, 270, 274 y 277).

Por su parte, Diane Vaughan (2004 y 2014) sostiene que la analogía es frecuentemente empleada para construir teorías sociales, aunque su uso no siempre se ha reconocido como tal. Tratando de hacer explícito este procedimiento, comparó los “delitos societarios” (corporate crime), el abuso policiaco y la violencia doméstica para trabajar en la construcción de una teoría general de las irregularidades organizacionales (organizational deviance). La analogía permite enlazar una teoría o concepto conocido con datos obtenidos en la investigación empírica. Un caso es seleccionado porque se trata de un evento o actividad que parece tener características en común con otros casos, al mismo tiempo que sus contextos varían en dimensión, complejidad y función. Así se pueden buscar equivalencias estructurales y procesuales, al mismo tiempo que se obtiene información empírica muy variada –histórica, política, económica, etcétera– dada la diversidad de condiciones sociales de los distintos casos. De esta manera se hace más viable construir teorías que sitúen las interpretaciones, significados y acciones individuales con las fuerzas sociales más amplias que les dan forma (Vaughan, 2004: 317-319).

Con estas ideas en mente, en el presente texto haré un ejercicio que intenta ilustrar algunas de las virtudes de la analogía para el análisis sociológico. Compararé mi actual tema de investigación –el auge y consecuencias de los métodos cuantitativos para la evaluación del trabajo académico– con otros tres fenómenos que son considerablemente disímbolos entre sí, a fin de identificar y destacar características de mi tema central de estudio que no son plenamente visibles al observarlo de manera aislada.

Los tres casos con los que compararé la evaluación cuantitativa del trabajo académico son instancias donde se han introducido métodos cuantitativos para valorar, clasificar y administrar el trabajo y las aptitudes humanas: 1) las plantaciones de esclavos en Estados Unidos antes de la Guerra de Secesión; 2) la sabermetría (sabermetrics), es decir, el uso de estadísticas especializadas para analizar el desempeño de los jugadores profesionales de beisbol; y 3) la calificación crediticia que emplean los bancos con vistas a determinar la idoneidad de una persona para recibir un crédito.

Dos aclaraciones. Primero, lo disímbolo de estos casos no debe ser un argumento para invalidar la comparación; por el contrario, se los utiliza por sus marcadas y evidentes diferencias –no a pesar de ellas–, pues éstas pretenden servir para encontrar una relación de similitud que permita comprenderlos mejor en su lógica, función y consecuencias, al margen de su contexto específico. Segundo, al observar la evaluación cuantitativa del trabajo académico a la luz de su comparación con los otros fenómenos no se está realizando ningún tipo de aseveración causal –id est, no se pretende afirmar que alguno de los casos aquí comparados engendró o produjo alguno de los otros. Tampoco se busca desarrollar algún tipo de argumento histórico –no se asevera que alguno de los fenómenos deba ser visto como antecedente directo de los otros.

Las analogías del estudio de los métodos cuantitativos de evaluación buscan servir para pensar las evaluaciones cuantitativas en las universidades en términos más abstractos, generales y comparativos (contrastando diversas instituciones, prácticas, regiones del mundo, periodos históricos). Lo que se desea, en última instancia, es utilizarlas para apuntalar la idea de que los cambios que se han presentado en las últimas dos décadas en la evaluación de los académicos –id est, la creciente forma cuantitativa e impersonal de la valoración– forman parte de transformaciones más amplias –en términos geográficos–, más profundas –en términos temporales– y más vastas –en términos de su ubicuidad en distintas esferas de actividad profesional.

 

 

Evaluación cuantitativa del trabajo académico

 

Antes de empezar con las comparaciones es necesario describir, al menos sucintamente, en qué consiste la cuantificación de la evaluación del trabajo académico.2

De manera progresiva, las universidades y centros de investigación en México han optado por utilizar indicadores cuantitativos que dan una expresión numérica a cuán destacados son los logros de los académicos. Con este fin emplean tabuladores, factores numéricos e indicadores bibliométricos que les sirven para evaluar las labores de docencia, difusión e investigación. Tales formas de medición han ido desplazando a los métodos tradicionales con los que se valora el mérito de la trayectoria y el trabajo académicos, como son los títulos, los premios, la reputación de las revistas donde se publican artículos y el prestigio de las universidades en las cuales se ha estudiado. Hoy en día, muchas instituciones de educación superior le dan preferencia a instrumentos primariamente cuantitativos a la hora de determinar sus procesos de contratación, premiación y promoción.

Dicho de manera más concisa: la evaluación de los académicos ha pasado de una descripción informativa –donde se articulaban cualitativamente los juicios de un grupo de evaluadores sobre un producto o individuo– a los cálculos cuantitativos –que expresan numéricamente una calificación otorgada al ítem o persona evaluada. Es decir, se ha transitado de acuerdos intersubjetivos que se actualizaban y moldeaban durante deliberaciones, a sistemas cuantificados, impersonales e inflexibles.

De entre los varios instrumentos de cuantificación del mérito académico, los tabuladores son los más difundidos y se emplean de manera más rutinaria. Los tabuladores se utilizan actualmente en México en más de cuarenta universidades públicas y centros de investigación. Se los usa en algunos casos para contratar nuevos académicos, en otros para valorar las actividades anuales de cada profesor-investigador y –en la gran mayoría de los casos– para otorgar estímulos o sobresueldos ligados a la productividad (se trata del sistema llamado de “pago por mérito”).

Los tabuladores son instrumentos poco complicados. Consisten en listados de actividades, características y productos a los que se les asigna un puntaje específico. Al evaluar a un académico se registra cuáles y cuántas de esas actividades, características y productos tiene o ha realizado en un periodo determinado (en la mayoría de los casos entre uno y cinco años) y se suman los puntajes. El total obtenido es el resultado de la evaluación; con él se determina si el evaluado podrá acceder a una contratación, a una renovación de contrato o a algún tipo de beca o sobresueldo.

Las listas de los tabuladores pueden ser altamente detalladas, como puede verse en las figuras 1y 2, que muestran fragmentos de los tabuladores de dos universidades públicas mexicanas.

Figura 1
Tabulador. Universidad Veracruzana (fragmento)

 

Figura 2
Tabulador. Universidad de Guadalajara (fragmento)

Criterios						Mínimo	Máximo	Tope
2.2.3 Desarrollo de modelos computacionales de apoyo a la investigación (con registro)						1,000	1,500	10,000
2.2.4 Productos de investigación demandados y financiados por el sector público, privado o social a través de convenio institucional						1,000	2,000	8,000
2.2.5. Patentes						1,000	2,000	8,000
2.3 Difusión de los productos de la investigación: (número de veces)
2.3.1 En publicaciones científicas o humanísticas especializadas
		Nota de investigación		Artículo	Monografía
2.3.1.1 Sin Comité Editorial			50	100	200			10,000
2.3.1.2 Con Comité Editorial local			100	300	400			15,000
2.3.1.3 Con Comité Editorial nacional			300	600	800			40,000
2.3.1.4 Con Comité Editorial internacional			500	1,000	1,500			60,000
		Individual		Colectivo
		Mínimo	Máximo	Mínimo	Máximo
2.3.2 En libro científico		3,000	5,000	1,500	2,500			60,000
2.3.3 En manual técnico		500	2,000	250	1,000			20,000
2.3.4 En trabajos de investigación presentados en eventos especializados
2.3.4.1 Ponente						100	200	10,000
2.3.4.2 Conferencia magistral						300	800	20,000
2.3.5 Obra propia citada por otros autores						50	50	10,000
3. En la difusión y extensión de la ciencia y la cultura (Nota 6) (número de veces)
3.1 Participación en actividades con invitación
3.1.1 Conferencia						5	10
3.1.2 Conferencia magistral						10	20
3.1.3 Otras: mesa redonda, panel, entrevista, etcétera (en prensa, radio o televisión)						30	50	2,000
3.2 Artículo de divulgación						100	100	3,000
3.3 Prólogo, introducción o reseña a la obra ajena						50	50	2,500

Fuente: Universidad de Guadalajara, 2006: 9.

El resultado de la evaluación con el tabulador se utiliza muchas veces para categorizar a los académicos de acuerdo con su puntaje y con los estímulos económicos especiales que reciben, como puede verse en la Tabla 1. Se trata de categorías similares a las que funcionan en el Sistema Nacional de Investigadores (sni) del Consejo Nacional de Ciencia y Tecnología (Conacyt), que se dividen en niveles numerados del uno al tres; o a los niveles del Programa de Primas al Desempeño del Personal Académico de Tiempo Completo de la Universidad Nacional Autónoma de México (ver Tabla 2).

 

Tabla 1
Niveles de estímulo. Universidad Autónoma de San Luis Potosí

Puntuación total	Puntuación mínima en calidad	Nivel	Salarios mínimos
371-440	260-309	i	1
441-510	310-358	ii	2
511-650	359-455	iii	3
651-750	456-525	iv	4
751-840	526-588	v	5
841-910	589-638	vi	7
911-970	639-679	vii	9
971-1000	680-700	viii	11

Fuente: Universidad Autónoma de San Luis Potosí, 2015: 4-5.

 

Tabla 2
Programa de Primas al Desempeño del Personal Académico
de Tiempo Completo (pride), unam

Porcentajes del salario que corresponden a cada uno de los niveles del programa:
• Nivel A	45%
• Nivel B	65%
• Nivel C	85%
• Nivel D	105%

Fuente: Universidad Nacional Autónoma de México, 2015: 30.

 

Primera analogía:
las plantaciones de esclavos

 

En la historiografía sobre el trabajo de esclavos en el sur de Estados Unidos antes de la Guerra de Secesión (1861-1865) ha predominado la imagen de que las plantaciones de algodón representaban un tipo de economía y de administración más cercana a la Edad Media que al capitalismo. También se repite mucho la aserción de que los métodos de la economía esclavista sureña estaban muy “atrasados” respecto del norte industrializado. En una serie de trabajos recientes, la historiadora Caitlin Rosenthal (2012, 2013 y 2016) ha cuestionado estas suposiciones.3

Rosenthal ha mostrado cómo varios dueños (masters) de las plantaciones sureñas introdujeron en la primera mitad del siglo xix innovaciones equivalentes a lo que décadas más tarde se conocería como la administración racional (scientific management) de la industria capitalista. En particular, una de ellas fue el uso y difusión de libros de contabilidad diseñados para registrar y calcular el trabajo de los esclavos. Estos cuadernos permitieron a los dueños dejar de estimar la producción de algodón de toda la plantación en bruto e individualizar su registro. Por medio de censos diarios de productividad individual, los dueños y sus supervisores (overseers) podían detallar cuánto algodón pizcaba (o podía llegar a pizcar) cada esclavo en particular.

Aquellos dueños con la diligencia y disciplina de realizar durante todo el año las decenas de registros diarios en los cuadernos,4 tuvieron la oportunidad de “poner sus números a trabajar” (Rosenthal, 2016: 63) y convertir la contabilidad en una herramienta para aumentar la productividad y calcular el valor presente y futuro de sus activos (incluyendo a los esclavos mismos). Al mismo tiempo, esta nueva estrategia de administración abrió la puerta a otras innovaciones planeadas para conocer y explotar la máxima capacidad de trabajo de cada esclavo: se establecieron sistemas de estímulos y premios para quienes producían más, lo que facilitaba saber con exactitud cuánto eran capaces de producir; se introdujeron sistemas de cuotas con los mínimos diarios que debía generar cada esclavo (so pena de castigos con el látigo); algunos dueños instauraron dietas especiales para distintos tipos de actividad y época del año, con el fin de asegurar el desempeño óptimo de los esclavos sin que desfallecieran; se clasificó a éstos de acuerdo a sus capacidades productivas con un sistema que nombraba a los más productivos “mano completa” (full hand) y a los otros con fracciones de mano: “3/4 de mano”, “media mano”, etcétera; esto permitió no sólo hacer cálculos de productividad individualizados, sino también estimaciones de cada clase de esclavo en abstracto y proporcionar estímulos (y castigos) para cada categoría.

Con esta breve descripción de la cuantificación del trabajo esclavo se pueden trazar algunos paralelismos interesantes respecto de la del trabajo académico. La cuantificación en ambos casos facilita el control de los trabajadores y el aumento en la productividad general, sea una plantación o una universidad; a través de estímulos especiales se alienta y se premia a quienes entregan más productos, sea en número de libras de algodón pizcado o de artículos publicados; se pueden establecer mínimos de productividad debajo de los cuales el trabajador corre el peligro de recibir castigos (en la Universidad Nacional Autónoma de México, por ejemplo, un instituto emplea un sistema de evaluación cuantitativa que tiene el revelador nombre de “contabilidad de obligaciones anuales mínimas”); se puede clasificar a los trabajadores de acuerdo con un sistema de clases o categorías que calcula el trabajo en abstracto: un esclavo categorizado como “mano completa” sería el equivalente a un moderno investigador del sni nivel 3 y pride D; los sni 2 y pride C serían como “3/4 de mano”, etcétera.

Por otro lado, esta analogía también permite ver algunos paralelismos en las tácticas que los trabajadores despliegan con el fin de obtener ventajas personales –o al menos para disminuir los castigos– cuando son evaluados cuantitativamente. Por ejemplo, había formas de solidaridad entre los esclavos, como ayudarse a cubrir alguna cuota cuando alguien no había alcanzado el mínimo diario de pizca; entre los científicos, por su parte, sucede que se socorren colocando como coautor de un artículo a algún colega que no participó en la investigación (sabiendo que el favor podrá ser devuelto algún otro año en el que no se logre publicar nada); cabe mencionar también el conocido acuerdo de “me citas y te cito”, que ayuda a engordar los índices en ese renglón. Algunos esclavos hacían fullerías como colocar un melón al fondo de su canasta de algodón para dar el peso necesario al final de la jornada, táctica similar a la que emplean los académicos que publican tres o cuatro artículos en distintas revistas y luego los reúnen en forma casi idéntica bajo la forma de un libro para duplicar la obtención de puntos en las evaluaciones. Por supuesto, muchas de estas prácticas –como citar a los colegas o publicar en coautorías– no son por sí mismas producto de la simulación o intentos por truquear el sistema de evaluación sacando provecho de sus debilidades. Ambos procedimientos, sobra decirlo, son parte esencial de la labor científica. Pero ello no debe ocultar que hay ardides concebidos premeditadamente para engrosar los números de los indicadores, dejando de lado cualquier consideración legítimamente intelectual.

También hay que subrayar una diferencia importante entre la medición de la pizca de algodón y la cuantificación académica. En la primera el poder es unidireccional y de enorme verticalidad: el esclavo intenta protegerse de los abusos del esclavista alterando las mediciones. En el mundo académico el poder se ejerce en una red con muchos hilos: las falsas medidas pueden ser producto de actores intermedios que sacan provecho de otros más vulnerables (por ejemplo, los laboratoristas que demandan ser incluidos entre los autores de un paper científico aunque su contribución haya sido inexistente o los asesores que explotan el trabajo de los estudiantes de posgrado sin darles crédito).

Finalmente, vale aquí una aclaración más. Tras la guerra civil y la abolición de la esclavitud, cuando los pizcadores de algodón dejaron de ser esclavos y se convirtieron en trabajadores asalariados libres, muchos de ellos regresaron a las mismas plantaciones con sus antiguos dueños. Éstos deseaban retomar las mismas técnicas de administración y medición del trabajo, pero eso resultó imposible; los trabajadores se negaban a cooperar y, en ocasiones, no firmaban los contratos anuales hasta que no se garantizaran mejores condiciones. Se trata de un importante recordatorio sobre el estrecho vínculo entre medición y condiciones laborales, el cual también existe en el trabajo académico. El firme yugo de las evaluaciones cuantitativas sobre los profesores e investigadores en México tiene como una de sus condiciones el que los estímulos que se obtienen a través de ellas no sean una pequeña adición simbólica, sino que llegan a representar –dependiendo del caso– la mitad o más de los ingresos mensuales. No es difícil imaginar que distintas condiciones en el salario provocarían una relación diferente entre los evaluados, la evaluación y las instituciones empleadoras.

 

 

Segunda analogía:
la sabermetría (sabermetrics)

 

La sabermetría –que deriva su nombre de las siglas de la Society for American Baseball Research (sabr)– es el análisis estadístico del juego de béisbol. El término fue acuñado por Bill James, quien en 1980 la definió como “la búsqueda de conocimiento objetivo sobre el béisbol” (McGrath, 2003). Con este fin, sus proponentes han diseñado indicadores estadísticos (por ejemplo, win shares) que ambicionan “considerar todas las contribuciones de un jugador para las victorias de su equipo, condensándolas en un solo número” (Costa, Huber y Saccoman, 2009: 54, énfasis añadido). Esta forma de entender el deporte cobró notoriedad cuando los Medias Rojas de Boston salieron campeones de grandes ligas en 2004 siguiendo los principios de la sabermetría.

La llegada de esta disciplina ha significado un cambio radical en la forma de administrar un equipo de beisbol profesional, de evaluar a los jugadores, de invertir el dinero del equipo y de cómo y a quién contratar. Amenaza con dejar atrás un modelo entero para juzgar y valorar a los jugadores y las necesidades del equipo. El conocimiento de los mánagers generales y buscadores de talento, producto de décadas de experiencia acumulada en sus trayectorias como jugadores, primero, y después trabajando en distintas tareas dentro de equipos profesionales, se vio de pronto confrontado con otro tipo de saber experto: el de estadísticos con poca o nula experiencia directa en el béisbol profesional, pero que aseguraban que con las fórmulas adecuadas de medición y cálculo se podría hacer un mejor trabajo para identificar el talento de los jugadores y su valor de mercado.

La evaluación de un jugador para su posible contratación implica un considerable riesgo económico a los equipos. El salario promedio de un jugador de grandes ligas es de cuatro millones de dólares al año –con ese dinero se podría pagar el sueldo anual de unos cuarenta profesores de sociología de tiempo completo con definitividad en universidades estadounidenses (Curtis y Kisielewski, 2015: 2). Ofrecerle un contrato multianual a un pelotero que parecía prometedor pero que termina teniendo un desempeño mediocre implica notables pérdidas pecuniarias (y podría poner en riesgo el trabajo de entrenadores y scouts).

La sabermetría trata de utilizar estadísticas para encontrar valor en ciertos jugadores de una manera que los métodos tradicionales de evaluación no pueden detectar: la cuantificación –opinan– abre la posibilidad de hacer visibles cualidades de los jugadores que anteriormente parecían intangibles. Quienes abogan por este procedimiento consideran que muchos jugadores son ignorados o subestimados por una variedad de prejuicios de los evaluadores, entrenadores y gerentes, quienes ven en ellos supuestos defectos como la edad (“ya está muy viejo”, “sus mejores años quedaron atrás”), la apariencia (“es demasiado bajo”, “tiene sobrepeso”, “su movimiento al lanzar la pelota es extraño”), o la personalidad (“es conflictivo”, “no hace química con sus compañeros de equipo”). Según la imagen popularizada de la sabermetría, con información cuantitativa y el uso correcto de las estadísticas se pueden superar esos prejuicios y encontrar el valor real de los jugadores. Los números intentan atravesar la cortina de las opiniones arbitrarias e infundadas para ir directamente a lo más sólido: aquello que en efecto hace un jugador y cuánto le aporta al equipo para ganar partidos (Lewis, 2004; Zaillian y Sorkin, 2011).

El viejo y el nuevo sistema de evaluación de jugadores de béisbol se parecen en varios aspectos a los sistemas tradicional y cuantitativo de evaluación a los académicos universitarios. En estos últimos se reduce por medio de tabuladores la importancia de las “cualidades percibidas” de los académicos, se descarta el peso de los “prestigios” y de las cualidades “evanescentes” (Lamont, 2010: 187-194) y sólo se premian, en cambio, los productos terminados, las actividades de hecho realizadas.

Se puede ilustrar lo anterior planteando un escenario hipotético donde una universidad tuviera que contratar a algún académico para una plaza en su Departamento de Filosofía. Imaginemos que las autoridades universitarias y los evaluadores tienen que emitir un juicio sobre un candidato que: 1) fue alumno de Adolfo Sánchez Vázquez; 2) estudió un posgrado en la Sorbona; 3) es sobrino de Luis Villoro. No es difícil suponer que –visto desde una escala de valor que le otorga, consciente o inconscientemente, un gran peso a los prestigios– la reacción inmediata sería considerar que se trata de un candidato muy prometedor. Sin embargo, esos tres puntos de referencia quedarían nulificados en una evaluación cuantitativa, pues los tabuladores ignoran ese tipo de información (sin importar que desde otro ángulo sería altamente significativa). Los tabuladores de las universidades no otorgan puntos por ser alumno de alguien importante ni por ser familiar de una vaca sagrada. Además, todos los títulos universitarios, de cualquier grado, reciben exactamente el mismo número de puntos, sin importar la institución que los expidió (una maestría en la Sorbona, en la unam y en la Universidad Tecnológica de México –Unitec– son enteramente equivalentes al ser traducidos en puntos del tabulador).

Como en la sabermetría, la evaluación cuantitativa de los académicos trata de no darle importancia a las cualidades intangibles y busca centrarse en los productos palpables atribuibles al individuo evaluado. Y como los entrenadores de la vieja escuela, que durante décadas confiaron en su criterio personal –su “olfato”, sus “corazonadas”– y súbitamente se encuentran inundados por fórmulas y ecuaciones, los dictaminadores académicos que hoy deben evaluar con tabuladores han visto cómo su labor ha dejado de ser un ejercicio deliberativo guiado mediante su juicio informado y se reduce a una sumatoria mecánica de puntos.

 

 

Tercera analogía:
calificación crediticia

 

Otra actividad donde las decisiones y juicios personales han sido desplazados por mecanismos impersonales y cuantitativos es el acceso al crédito en los bancos. Como han documentado los sociólogos Marion Fourcade y Kieran Healy (2013) siguiendo el caso estadounidense, hasta la década de 1970 un agente del banco se entrevistaba personalmente con el cliente potencial que deseaba obtener un crédito y buscaba, al verlo y escucharlo, elementos para determinar si era un potencial sujeto de crédito. Entre las cosas que los agentes observaban estaban la apariencia física, los modales y el tipo de conversación del aspirante. Así, la decisión de otorgarle o negarle un crédito dependía, en parte, de la opinión de los agentes bancarios, de su experiencia práctica con varios tipos sociales y de lo que asumían era la moralidad de varias clases de clientes. Esto significaba, en términos prácticos, que una persona de piel oscura, residente en un vecindario de mala reputación y con un marcado acento de clase difícilmente podía obtener un crédito hipotecario o un préstamo para su negocio.

Tal procedimiento, que era poco eficiente en términos económicos –porque excluía a clientes potencialmente valiosos– y políticamente problemático –porque discriminaba a grupos e individuos específicos por motivos raciales o de género–, fue sustituido por la calificación crediticia (credit score), una evaluación numérica de la confiabilidad de una persona basada en su historial crediticio. Ello representó la introducción de un método de evaluación neutro y objetivo para determinar el grado de confianza que cabía depositar en un cliente (promoviendo, al mismo tiempo, mayor imparcialidad en el mercado crediticio). Esta evaluación cuantitativa produjo nuevas formas de clasificación basadas en la trayectoria y prácticas concretas individuales, y no en la historia y prejuicios sobre un grupo social. Se trató de la implantación de una “objetividad mecanizada”, diseñada para producir confianza, certeza, eficiencia e igualdad (Fourcade y Healy, 2013: 563).

Los autores destacan cómo estos mecanismos de evaluación y clasificación se distancian del análisis bourdieuano que ve al juicio como producto de esquemas de acción y percepción; en cambio, lo que impera en el caso de la calificación crediticia es un tipo de juicio y clasificación impersonal y al margen de interpretaciones individuales (Fourcade y Healy, 2013: 561). Dándole otra terminología a esta idea, se podría decir que los procedimientos de cuantificación mecánica sustituyen a la “historia hecha cuerpo” –el habitus, capacidad cognitiva socialmente constituida que se incorpora en los individuos como esquemas de pensamiento que permiten diferenciar, distinguir, categorizar y clasificar– por una historia hecha algoritmo –reglas de procedimientos preordenados y guiados por fórmulas, magnitudes y estándares numéricos en los que se han objetivado criterios cognitivos socialmente constituidos, pero que operan de forma rígida, irreflexiva y no deliberada.

En un proyecto de investigación afín al anterior, otro dúo abocado a la sociología económica –Bruce Carruthers y Barry Cohen (2006 y 2010)– ha mostrado cómo las agencias calificadoras de riesgo producen estimaciones de solvencia económica con base en categorías estandarizadas. Sus evaluaciones crediticias ofrecen medidas sistemáticas y cuantitativas del riesgo, lo cual permite a los bancos tasar la solvencia de los deudores y ayudan a los acreedores a responder la crucial pregunta: “¿en quién se puede confiar para recibir un préstamo y liquidarlo?” A través de las décadas –dicen Carruthers y Cohen– ha ocurrido un desplazamiento en la administración del crédito: antes se buscaba conocer el carácter personal del deudor por medio del contacto personal, en un contexto de relaciones sociales informales; en contraste, hoy en día se hace uso sistemático de información cuantitativa obtenida de manera indirecta y se construye una confianza impersonal y mecanizada. Otra vez, un tipo de conocimiento idiosincrático fue desplazado por un conocimiento cuantitativo.

En sus diagnósticos, estas dos parejas de científicos sociales aluden a una noción desarrollada por historiadores de la ciencia: la “objetividad mecánica” (Porter, 1995: 4-7 y 90-93). Dicho concepto se basa en la aspiración de conocer y aprehender la naturaleza con la menor intervención humana posible e implica buscar el modo de erradicar el juicio y la opinión personales. Este anhelo, se pensaba desde el siglo xix, se lograría mediante la contención personal del observador-evaluador (reduciendo al máximo las inclinaciones y prejuicios personales), siguiendo un método con pasos y reglas preestablecidas que indican cómo llegar a un resultado. Desde entonces, se aspira a la justicia e imparcialidad por medio de un sentido de objetividad que es sinónimo de lo impersonal, donde el interés propio no distorsiona el juicio.

Como se vio con el caso de la sabermetría, en la transformación de las evaluaciones de confianza crediticia y del trabajo académico también se han implantado modelos cuantitativos inspirados en el ideal de la objetividad mecánica: buscan reducir la influencia de los prejuicios y sólo darle peso a las cosas que en efecto han realizado los evaluados.5 Tales aspiraciones no son banales en un contexto social donde las oportunidades y las recompensas simbólicas y económicas –dentro y fuera de las instituciones educativas– frecuentemente son determinadas por la apariencia y por guiños salientes del capital social y cultural, más que por aptitudes y cualidades (Hill, 2016; Jaschik, 2016; Lee at al., 2015).

Se debe tener cuidado, sin embargo, de no perder de vista que todo esto no necesariamente evita que la discriminación y el favoritismo se presenten de nuevas maneras. Por una parte, pese a los candados que impone la evaluación cuantitativa, es común que grupos de poder en las universidades encuentren modos de colocar a sus allegados a pesar de que se sometan a evaluaciones en apariencia imparciales. Así sucede, por ejemplo, con la conocida práctica de publicar convocatorias abiertas para plazas de profesor donde la descripción del perfil académico de los candidatos es –como se dice en el medio– un “retrato hablado” de un candidato preseleccionado por las autoridades (“hecha la ley, hecha la trampa” –como dice el dicho–).

Por otra parte –y más importante aún– las mediciones cuantitativas del trabajo académico constantemente reproducen concepciones del mérito que son simplistas, unidimensionales, individualizadas y jerárquicas, y desplazan métodos de evaluación que tienen mayores posibilidades –aunque nunca plenamente garantizadas– de apreciar cualidades complejas, contextualizadas y horizontales (Carson, 2004: 201-203). Las evaluaciones reproducen sus criterios con mecanismos que posibilitan su continuación, entre ellos el hecho de que quienes encajan bien en las concepciones unidimensionales del mérito tienen buenos resultados en la evaluación y eso les permite realizar carreras exitosas, ascender en los escalafones institucionales y controlar y ejecutar las futuras evaluaciones –sea porque sus trayectorias les ayudan a convertirse en miembros de las comisiones evaluadoras o porque estarán en las posiciones administrativas donde se diseñarán los nuevos métodos de evaluación. No se debe olvidar que todo acto de cuantificación tiene incorporada una serie de decisiones sobre qué contar y cómo categorizar (Cohen, 2001: 28), y que esas decisiones –dispuestas por grupos específicos– se hacen más eficaces al ser tomadas como válidas por su aura de cientificidad y neutralidad.

 

 

Conclusiones

 

En el corazón de la cuantificación se encuentra la conmensuración: convertir distinciones cualitativas en distinciones cuantitativas, donde las diferencias se transforman en asuntos de más o de menos, y ya no en cuestiones de calidad, especie, tipo o clase; id est, las diferencias se expresarán como magnitudes determinadas siguiendo una medida establecida (Espeland y Stevens, 2008: 408-410). Cuantificar y conmensurar la actividad humana supone una manera de conocer y evaluar cómo trabajan las personas y sus cualidades productivas, creativas, de innovación, etcétera. Como se ha mostrado aquí, desde hace tiempo y en muy disímbolos campos profesionales se ha utilizado la cuantificación para administrar, clasificar y controlar a los trabajadores con métodos que aspiran a ser más objetivos, exactos y mecánicos.

Tras comparar la cuantificación de las actividades humanas en áreas tan heterogéneas como las universidades, las plantaciones de esclavos, los equipos profesionales de béisbol y los bancos, ¿qué características podemos enfatizar en los procesos de evaluación cuantitativa del trabajo académico que previsiblemente forman parte de una situación estructural y no sólo de alguna coyuntura aleatoria?

Al comparar la evaluación académica con las plantillas y enumeraciones del trabajo esclavo, se puede observar que las matrículas y listas que detallan la actividad de los trabajadores –como los informes y los tabuladores– no sólo sirven para llevar registro de las labores regulares, también pueden convertirse en tecnologías de control: en un instrumento que permite poner en acción procedimientos para organizar un sector productivo y aumentar su rendimiento. El registro cuantitativo y sistemático abre la oportunidad de controlar a los trabajadores desde la distancia –como las oficinas centralizadas del Conacyt, que vigilan y administran a investigadores situados en todo el país–, a la vez que establece nuevos criterios para clasificar a las personas en cuadros jerarquizados fácilmente traducibles en fórmulas para premiar (o castigar) diferenciadamente a los sujetos cuantificados.

Al comparar la evaluación académica con las más novedosas estadísticas de análisis de los jugadores de béisbol, se puede observar que la cuantificación sirve para disminuir el peso de las preconcepciones a la hora de identificar talento y evaluar a un trabajador (sea para contratarlo, premiarlo o despedirlo). Este sistema hace visibles características que pasan inadvertidas con los métodos tradicionales de evaluación. Permite también tener una idea más exacta de las capacidades de un trabajador –sea beisbolista, esclavo o científico–, lo cual hace más sencillo y eficiente explotar esas habilidades.

Al comparar la evaluación académica con el uso de reportes de calificación crediticia, se observa que la cuantificación del juicio se ha justificado como un método que acota el criterio personal de los evaluadores –id est, reduce la posibilidad de que sus preconcepciones e idiosincrasia opaquen la apreciación de los méritos de la persona evaluada. Se pretende con ello que la apariencia y las cualidades evanescentes de los individuos no se traduzcan en discriminación al evaluado –se aspira a darle a cada quien lo que se merece, según sus resultados tangibles– y en ineficiencia para la institución interesada –se procura reducir el riesgo de contratar trabajadores improductivos.

Las similitudes estructurales de la evaluación académica cuantitativa con el prototaylorismo de las plantaciones, la sabermetría y las calificaciones crediticias invitan a formular preguntas para futuras indagaciones: ¿sería útil, en el contexto actual, rescatar alguna idea como el vago pero sugerente concepto de un “espíritu de los tiempos” (zeitgeist) para intentar comprender lo que está sucediendo en las prácticas e instituciones evaluativas?, ¿hay alguna condición estructural que actúa por debajo de estos múltiples procesos de cuantificación? Responder a estas interrogantes se hace más urgente ante la recurrencia entre académicos mexicanos de explicar el actual estado de la evaluación como producto de una coyuntura económica –por ejemplo, el neoliberalismo– o de dislates de una minoría de funcionarios –las burocracias universitarias, de la sep, del Conacyt. Parece que ha llegado el momento de considerar, más bien, si no estamos siendo arrastrados por una corriente histórica más profunda.

 

 

Bibliografía

 

Bourdieu, Pierre, Jean-Claude Chamboredon y Jean-Claude Passeron (1993). El oficio del sociólogo. Presupuestos epistemológicos. Ciudad de México: Siglo xxi Editores.

Brown, Richard Harvey (1977). A Poetic for Sociology: Toward a Logic of Discovery for the Human Sciences. Chicago: University of Chicago Press.

Carruthers, Bruce y Barry Cohen (2006). “The Mechanization of Trust: Credit-rating in 19th Century America”. Ponencia presentada en el congreso anual de la American Sociological Association, Montreal, Canadá, 11 de agosto.

Carruthers, Bruce y Barry Cohen (2010). “Noter le crédit: classification et cognition aux États-Unis”. Genèses 2 (79): 48-73.

Carson, John (2004). “The Science of Merit and the Merit of Science: Mental Order and Social Order in Early Twentieth-century France and America”. En States of Knowledge: The Co-production of Science and Social Order, coordinado por Sheila Jasanoff, 181-205. Londres: Routledge.

Cohen, Patricia Cline (2001). “The Emergence of Numeracy”. En Mathematics and Democracy: The Case for Quantitative Literacy, coordinado por Lynn Arthur Steen, 23-29. Washington: Woodrow Wilson National Fellowship Foundation.

Costa, Gabriel, Michael Huber y John Saccoman (2009). Practicing Sabermetrics: Putting the Science of Baseball Statistics to Work. Jefferson: McFarland.

Curtis, John y Michael Kisielewski (2015). The Need to Know: Faculty Salaries in Sociology and Other Disciplines, 2015. Washington: American Sociological Association.

Dostoyevski, Fiódor (2012). Crimen y castigo. Madrid: Alianza.

Espeland, Wendy y Mitchell Stevens (2008). “Sociology of Quantification”. European Jorunal of Sociology 49 (3): 401-436.

Fourcade, Marion y Kieran Healy (2013). “Classification Situations: Life-chances in the Neoliberal Era”. Accounting, Organizations and Society 38: 559-572.

Hill, Amelia (2016). “Top Graduates Missing Out on Banking Jobs for Lacking ‘Polish’”. The Guardian, 1 de septiembre.

Jaschik, Scott (2016). “Graded on Looks”. Inside Higher Education, 5 de enero. Disponible en: <https://www.insidehighered.com/news/2016/01/05/new-study-finds-women-who-are-not-considered-attractive-receive-lower-grades> [Consulta: enero de 2016].

Lamont, Michèle (2010). How Professors Think: Inside the Curious World of Academic Judgment. Cambridge: Harvard University Press.

Lee, Sunyoung, Marko Pitesa, Madan Pillutla y Stefan Thau (2015). “When Beauty Helps and When It Hurts: An Organizational Context Model of Attractiveness Discrimination in Selection Decisions”. Organizational Behavior and Human Decision Processes 128 (mayo): 15-28.

Lewis, Michael (2004). Moneyball: The Art of Winning an Unfair Game. Nueva York: W. W. Norton.

McGrath, Ben (2003). “The Professor of Baseball”. The New Yorker, 14 de julio. Disponible en: <http://www.newyorker.com/magazine/2003/07/14/the-professor-of-baseball> [Consulta: febrero de 2016].

Porter, Theodore (1995). Trust in Numbers: The Pursuit of Objectivity in Science and Public Life. Princeton: Princeton University Press.

Rosenthal, Caitlin (2012). “From Memory to Mastery: Accounting for Control in America, 1750-1880”. Tesis de doctorado en historia. Cambridge: Harvard University.

Rosenthal, Caitlin (2013). “From Memory to Mastery: Accounting for Control in America, 1750-1880”. Enterprise & Society 14 (4): 732-748.

Rosenthal, Caitlin (2016). “Slavery’s Scientific Management: Accounting for Mastery”. En Slavery’s Capitalism, coordinado por Sven Beckert y Seth Rockman, 62-86. Filadelfia: University of Pennsylvania Press.

Swedberg, Richard (2014). The Art of Social Theory. Princeton: Princeton University Press.

Sykes, Joe y Neil Paine (2016). “How One Man’s Bad Math Helped Ruin Decades of English Soccer”. FiveThirtyEight, 27 de octubre. Disponible en: <http://fivethirtyeight.com/ features/how-one-mans-bad-math-helped-ruin-decades-of-english-soccer/> [Consulta: octubre de 2016].

Universidad Autónoma de San Luis Potosí (2015). Reglamento del Programa de Estímulos al Desempeño del Personal Docente. San Luis Potosí: Universidad Autónoma de San Luis Potosí.

Universidad de Guadalajara (2006). Reglamento de Ingreso, Promoción y Permanencia del Personal Académico de la Universidad de Guadalajara. Guadalajara: Universidad de Guadalajara.

 

 

Universidad Nacional Autónoma de México (2015). “Programa de Primas al Desempeño del Personal Académico de Tiempo Completo (Pride). Convocatoria 2016”. Gaceta UNAM (3 de noviembre): 24-32

Universidad Veracruzana (2014). Reglamento del Programa de Estímulos al Desempeño del Personal Académico. Xalapa: Universidad Veracruzana.

Vaughan, Diane (2004). “Theorizing Disaster: Analogy, Historical Ethnography, and the Challenger Accident”. Ethnography 5 (3): 315-347.

Vaughan, Diane (2014). “Analogy, Cases, and Comparative Social Organizations”. En Theorizing in Social Sciences: The Context of Discovery, coordinado por Richard Swedberg, 61-84. Stanford: Stanford University Press.

Vera, Héctor (en prensa). “El homo academicus y la máquina de sumar: profesores universitarios y la evaluación cuantitativa del mérito académico”. Perfiles Educativos.

Zaillian, Steven y Aaron Sorkin (2011). Moneyball. Filme dirigido por Bennett Miller. Culver City: Columbia Pictures.

* Instituto de Investigaciones sobre la Universidad y la Educación, Universidad Nacional Autónoma de México. Correo electrónico: <hhvera@hotmail.com>.