Towards the evaluation of written proficiency on a collaborative social network for learning languages : Yask - an english language case study

YASK es una red social colaborativa en línea que permite practicar idiomas dentro de una dinámica que incluye solicitudes, respuestas y votos. Partiendo del hecho que la medición de la competencia lingüística mediante el uso de diversas metodologías es muy difícil, costosa y en muchas ocasiones imprecisa. Presentamos una nueva alternativa metodológica denominada ProficiencyRank, usando como contexto la aplicación Y ASK. Nuestro método, amplia el reconocido algoritmo PageRank al incluir información correspondiente a los votos positivos y negativos. Se identificaron cuatro tipos de señales dentro del grafo de interacción social. Entre ellos están los acuerdos y desacuerdos entre usuarios, los cuales permiten calcular clasificaciones para la mayoría de los usuarios en la red, superando así las limitaciones intrínsecas de PageRank. Nuestros experimentos muestran que la reputación de los usuarios en la aplicación Y ASK, medida con ProficiencyRank, está significativamente correlacionada con la suficiencia en el idioma aprendido, mientras que la producción escrita está correlacionada débilmente con los perfiles de vocabulario del Marco Común Europeo de Referencia. Además, descubrimos que los votos negativos son considerablemente más informativos que los positivos, los votos explícitos son más informativos que los implícitos, y una combinación ponderada de todas las señales produce los mejores resultados. Concluimos que el uso de esta tecnología es una herramienta prometedora para medir la suficiencia en L2, incluso para grupos relativamente pequeños de estudiantes, y potencialmente aplicable a otras redes sociales colaborativas.