12 diciembre 2014

La calidad en las universidades


Un ranking absurdo
Leo un artículo con el ranking de puntajes promedio de ingreso a las universidades según la Prueba de Selección Universitaria. Nada muy novedoso, los puntajes más altos de la Universidad Católica, la Chile y de allí para abajo. La Universidad de Tarapacá, que en otros rankings sale bastante favorecida, en este aparece entre los últimos lugares con 530 puntos de promedio.

Es curioso como la gente asocia automáticamente "ranking" con "calidad", es un error que ocurre con toda clase de pruebas desde PSU, SIMCE y los famosos rankings universitarios que no hacen otra cosa que ordenar por ciertos criterios -a veces absurdos como este del puntaje PSU promedio- a distintos establecimientos. Pero eso no tiene nada que ver con la calidad. Ojo, los rankings no tienen nada de malo y es bueno conocerlos, pero muchas veces se interpretan de manera estúpida.

Por ejemplo es lógico que las universidades de la zona central capten alumnos con puntaje más alto por una simple razón demográfica: es el mismo lugar o cercano a donde la gran mayoría de  los alumnos viven. Sería imposible que la Universidad de Tarapacá captase altos puntajes siendo nuestra región la de menor población en Chile ¡deberían egresar del liceo puros genios!. Otro punto a considerar es que el ingreso a las universidades está condicionado al marketing y por ventajas como crédito fiscal, que no tienen ninguna relación con la calidad.

Curiosamente los propios profesores son incapaces de entender algo tan sencillo. He escuchado a profesores de la UTA quejarse amargamente porque "reciben a los peores alumnos", alegando que con esa materia prima no es mucho lo que se puede hacer. Es la misma queja estúpida con que los profesores municipales justifican el pobre desempeño de sus alumnos, una excusa pobre y llena de implícito clasismo que solo sirve para provocar profecías autocumplidas.

Mi universidad es mala
Y con esto no quiero decir que yo considero a la Universidad de Tarapacá como una universidad buena, al contrario, en mi opinión es bastante mala, pero el asunto es con respecto de que. Si no tenemos puntos de referencia cualquier comparación será una tontera. Por ejemplo considero que la UTA es buena comparada con algunas universidades regionales de Chile, y que es bastante buena comparada con universidades peruanas que más o menos conozco, pero también es mala comparada con la Universidad de Talca, que también podría ser comparable. O sea todo depende del contexto.

En mi opinión la UTA es mala en general, porque funciona muy por debajo de su potencial, no ocupa adecuadamente los recursos que tiene y, comparada con su antecesora la Universidad del Norte Sede Arica, donde ingresé en 1978 la veo como un zombie, igual que un muerto caminando. Con un cuerpo de profesores viejos y desmotivados; una matrícula estancada por décadas; con modernos edificios bien equipados para muy pocos alumnos. Claro, tiene potencial y oportunidades, pero no tiene la gente, tal como la canción bella sin alma.

Pero ¿que diablos es la calidad de una universidad?
En general el concepto de "calidad" se usa para hacer comparaciones del tipo mejor/peor y está basado en dos criterios:
1.- Las propiedades que permiten satisfacer necesidades de los usuarios
2.- El nivel de satisfacción percibido por los usuarios

Las propiedades son del tipo "existe" o "no existe" y se mide el cumplimiento de estándares. La satisfacción de los usuarios en cambio es una percepción subjetiva del tipo "satisfecho" o "no satisfecho"

Todos los rankings de universidades están basados en el criterio 1, es decir si cumplen o no con ciertos estándares, lo que resulta muy conveniente en términos de marketing pero sujeto a toda clase de manipulaciones detrás de una aparente objetividad, tiene el bias implícito en la selección de los estándares. Todos los rankings son en mayor o menor medida un engaño.

La calidad que nadie mide
El criterio 2 en cambio es mucho más útil porque se basa en la misma idea económica de la Teoría Subjetiva del Valor que dice que no hay valores absolutos (es decir los estándares no tiene valor en si mismos) sino que solo existen las valoraciones que damos subjetivamente.

Medir la calidad en estos términos resultaría relativamente sencillo, bastaría hacer encuestas de satisfacción a los tres grupos de interés directamente involucrados: estudiantes, egresados y empleadores de egresados de cada universidad. Nunca he visto un ranking de ese tipo y creo que nunca llegaré a verlo, porque a ninguna universidad le hace maldita gracia correr el riesgo de  que a pesar de tener altos estándares sus usuarios la consideren una basura. Nadie mide por ese criterio, a pesar que es el único que realmente importa.

15 comentarios:

  1. Aquí hay algo como lo que planteas...
    http://www.orientachile.cl/index.php/rankings/924-ranking-que-pasa-2013

    ResponderBorrar
  2. Hola JMS, interesante pero no se trata de una medición de satisfacción sino más bien una encuesta de imagen de marca.

    La diferencia es que en este caso se entrevistaron ejecutivos para opinar sobre su percepción de calidad de distintas universidades, creo que el problema en ese caso es que opinan por lo que les parece o lo que le han contado o les suena, eso es una típica encuesta de percepción de imagen de marca.

    Lo que me pregunto es por que no se hacen encuestas de satisfacción entre los directamente involucrados, es decir alumnos, egresados y empleadores que tengan contratada gente de cada universidad. Creo que eso daría una medida bastante objetiva sobre la calidad que están entregando las universidades.

    ResponderBorrar
  3. Hola. Perdón el abuso. Hace unos días acá mismo leí del tema de chrome y cambiarse a firefox. Lo hice. Funciona bien la mayor parte del tiempo. Pero a veces se queda pegado largos minutos. Luego sale un mensaje de error, algo así como un script falló en googlepics.algoquesemeolvido.com (también googlestats y otros google). O sea uno se libera de chrome pero si entra a youtube o hace una búsqueda la maldición vuelve. Uso windows 8.1 64. Tienes idea si esos script se pueden deshabilitar.

    ResponderBorrar
  4. A mi me pasó algo muy parecido, es un problema con el Adobe Flash Player al parecer (tal vez alguna de sus actualizaciones automáticas) después de mucho buscar lo arreglé haciendo un refresh a la instalación del Windows, el refresh mantiene toda la imformación pero limpia la instalación y la deja como original, enmi caso almenos me funcionó, si alguien sabe más de eso que avise.

    ResponderBorrar
  5. Aquí encontré algo sobre esos errores https://support.mozilla.org/es/kb/aviso-script-sin-respuesta-que-significa-y-como-so

    ResponderBorrar
  6. Es facil trabajar con los tipos de mejor psu si sigues evaluando con pruebas estandarizadas... si cambias el enfoque y usas aprendizaje autónomo, construcción de equipos aplicando los conocimientos y plazos no reconfigurables.... hay sorpresas.

    Pero lo mas facil es hacer lo que se ha hecho desde siempre.

    ResponderBorrar
  7. Ah claro, las pruebas estandarizadas son otra forma de rankear bastante absurda porque al momento d etrabajar los profesionales muy rara vez son sometidos a pruebas de ese tipo, entonces sus habilidades no les sirven.

    Una enseñanza profesional o científica que pretenda ser útil debería evaluarse principalmente con trabajos sometidos a plazos inamovibles. Tal como en algunos programas de magister y doctorado se evalúan por publicaciones aceptadas, los currículum profesionales deberían evaluarse por aplicaciones,proyectos, etc. funcionando.

    Lo que pasa es que toda la educación se ha diseñado para hacer más cómoda la vida a los priofesores, esa es una de las peores distorsiones del sistema.

    ResponderBorrar
  8. Sí y No. De acuerdo en general, aunque te hago una acotación.

    Si aceptamos que el alumno ingresa a la universidad para diferenciarse del resto, y si somos liberales y reconocemos al mercado como juez de esa diferenciación, y reconocemos a las universidades como proveedores mayoristas (títulos a todos aquellos que los compran); a los profesionales como proveedores minoristas de bienes y servicios; y a las empresas que contratan a estos profesionales como consumidores finales del bien que pone en el mercado el profesional (el consumidor final-final es cliente de la empresa y no de su empleado, salvo en el caso de un independiente), podemos concluir que quien da valor al profesional es su empleador.

    Por lo tanto, el único ranking válido es aquel que nos informa la empleabilidad y los ingresos reales, que son el valor que da la empresa contratante.

    ResponderBorrar
  9. Pero hay un detalle que es importante, encontrar un trabajo asalariado no es la única expectativa de los que compran o reciben a cualquier título un servicio educativo, y estos e hace más cierto en la medida que la educación se percibe como menos costosa (bien porque la paguen con impuestos o por nuevas tecnologías como la educación online).

    Yo creo que en principio solo la opinión del que adquiere el servicio es relevante (bien sea estudiante o egresado). Es cierto que muchas veces los estudiantes juzgan inútiles actividades que después les servirán mucho, para matizar ese efecto yo agregué la percepción de los egresados -que tienen una idea más completa de lo que sirve y lo que no- y de los que estén empleando a egresados de esa universidad, que puede ampliar la validez del criterio de calidad en el sentido que tu indicas.

    Es cierto que los empleadores son clientes secundarios de los servicios educativos,pero los clientes primarios son estudiantes y egresados, mal que mal son los que pagan y reciben directamente el servicio.

    ResponderBorrar
  10. Los ranking de empleabilidad y sueldos están sujetos a un montón de distorsiones estadísticas, primero porque pueden reflejar muchos otros atributos como la imagen de marca, otras características del perfil de egresado y fundamentalmente el error de muestreo de selección, que beneficia enormemente a universidades con muchos alumnos en desmedro de las que tienen pocos. Al final se terminan comparando peras con manzanas.

    ResponderBorrar
  11. Este año mi hija rindió la PSU y me interesé por el tema. Te doy un ejemplo:

    Ella quiere estudiar derecho, y la primera pregunta que le hice fue si le interesa trabajar en la administración pública o en la empresa privada y oficinas de abogados. Respondió lo segundo.

    Busqué y encontré este dato: El decano de la Universidad Central dijo con orgullo en una entrevista, que el 85% de sus egresados trabaja en la administración pública. Y en la página de la Adolfo Ibáñez cuentan que sobre el 75% de sus egresados trabaja en la empresa privada y oficinas de abogados. No eligió ninguna de esas, pero entendió el punto.

    Entonces: ¿Quién valora al profesional?: Depende de quien lo pretenda emplear. ¿Qué universidad es mejor?: Depende de para que la quieras.

    ResponderBorrar
  12. Máximo, te voy a dar una opinión basado en mi experiencia personal, no es algo objetivo ni mucho menos pero es comoyo lo veo.

    En los 70s nadie, absolutamente nadie tenía dudas que los ingenieros electrónicos iban a ser la profesión más rentable del siglo XXI,a principios de los años 80 nadie dudaba que los que supieran programar computadores tendrían su vida asegurada y a finales de los 80 en Chile todos pensaban que la ingeniería comercial iba a ser la profesión del futuro. Para que sigo.

    Creo que lo peor que puede hacer alguien que está decidiendo que estudiar es proyectarse hacia el futuro porque si hay algo seguro es que el futuro no va a ser ni remotamente parecido al presente, lo he vistomuchas veces y creo que eso es algo que va a seguir.

    Carreras que hoy se consideran "seguras" como medicina, ingeniería metalurgica, leyes, etc. pueden ser violentamente alteradas en cuanto al desarrollo profesional, alguna vez ser hábil con el código Morse era algo muy valioso. A medida que la tecnología cambia -y cada vez más rápido- se hace mucho más difícil preveer como será el mundo laboral en 10 o 20 años más.

    Es casi seguro que ya nadie -o casi nadie- terminará trabajando en lo mismo que estudió por muchos años, es algo de sentido común en un mundo donde la tecnología está avanzando como nunca antes.

    También es muy probable que las profesiones basadas en conocimientos exclusivos van a ir perdiendo vigencia en la medida que lso conocimientos se hacen más acesibles y se va produciendo una des-intermediación. Por ejemplo antes era muy valioso ser "tinterillo" o "tramitador aduanero", hoy esas especialidades van desapareciendo.

    Si yo tuviese que empezar a esudiar hoy me preocuparía mucho más de adquirir habilidades que conocimientos, de ser flexible y tener destrezas que me permitan cambiar y aprender cosas nuevas. Creo que en poco tiempo más ya se terminarán las "carrreras" para toda la vida o se harán cada vez más raras.

    Bueno,después de toda esa perorata yo creo que si a alguien le interesa el derecho es perfecto, pero que ni piense en que va a trabajar, simplemente que se mepape del asunto para que pueda incursionar en muchas áreas relacionadas con el interés principal.

    Un abogado puede hacer fortuna como asesor tributario, como consejero, trabajando con la policía o haciendo comisiones de confianza. No hay que limitarse al detalle ni menos a la tendencia actual, normalmente todo lo que es tendencia hoy será obsoleto mañana, parece que es una especie de ley.

    ResponderBorrar
  13. Comparto tu punto, aqui no se trata de ver el futuro ni pensar que una profesion te asegura, eso tal vez era valido hace 50 anos.

    Solo discrepo contigo en una cosa. El que da el veredicto de la satisfaccion no puede ser el egresado, sino el que recibe el servicio. La empresa contratante, o en el caso del independiente, su cliente. directo.

    Luego, con el tiempo, vendran otras variables, como el prestigio personal.

    ResponderBorrar
  14. Tienes razón, esas mediciones son puros criterios. Bien podrían haber elegido otros.

    Eso me recuerda que Einstein elegió la fórmula por todos conocidas por era bella.

    ResponderBorrar
  15. Javier, eso es lo que yo creo, hay un sesgo de selección enorme en esos rankings, yo creo que son más que nada herramientas de marketing hechas a la medida de algunas instituciones

    ResponderBorrar

"Send me a postcard, drop me a line
Stating point of view
Indicate precisely what you mean to say
Yours sincerely, wasting away
Give me your answer, fill in a form
Mine for evermore
Will you still need me, will you still feed me
When I'm sixty-four"