Duolingo es la forma más popular de aprender idiomas en el mundo. ¡Mejor aún es 100% gratis!

https://www.duolingo.com/jrikhal

ANUNCIO: Test de una nueva versión del árbol

jrikhal
  • 22
  • 18
  • 18
  • 14
  • 8
  • 5
  • 5
  • 5
  • 3
  • 3
  • 3
  • 2
  • 2
  • 2
  • 2
  • 2

Hola,

estamos orgullosos de anunciarles que finalmente lanzamos (inicialmente bajo un modelo de “A/B test”) la nueva versión del árbol de francés para hispanohablantes en la que estuvimos trabajando durante estos últimos meses. Contestaremos aquí a algunas preguntas que podrían tener sobre esta nueva versión.

<h1>1.¿Qué cambió en relación al árbol anterior?</h1>

Los cambios de esta nueva versión se concentran en las primeras unidades del árbol (casi exclusivamente antes del primer atajo) y en la enseñanza de los conceptos más básicos (pero importantes) del francés.

image_tree

Hay que saber que el antiguo árbol tenía la estructura (es decir las unidades y su orden, las lecciones dentro de cada unidad y las palabras enseñadas) heredada del primer árbol de francés desde inglés (como casi todos los cursos de francés en Duolingo hasta ahora) y es algo que no habíamos tenido la oportunidad de modificar. Por consecuencia, no sólo heredamos algunos errores de este primer árbol (el segundo creado en la historia de Duolingo) sino que también fue pensado específicamente para usuarios con inglés como lengua materna. Pero un hispanohablante no tiene ni las mismas facilidades, ni las mismas dificultades para aprender el francés que las de alguien que habla inglés. Por ejemplo, en inglés no hay género para los sustantivos entonces en su caso no importa qué sustantivos usa el curso para enfocarse en la enseñanza de los artículos franceses, pero para nuestro curso era importante reestructurar el árbol para que fuera más apropiada la enseñanza del francés desde el español. Efectivamente, aprendiendo desde el español, más vale usar sustantivos que tengan el mismo género en ambos idiomas para concentrarse sólo en el aprendizaje de los artículos franceses. De manera general, hicimos los cambios con el objetivo de enfocar cada unidad en una dificultad específica en el principio del árbol (hasta el primer atajo) y también de que estas primeras unidades no sean muy largas para no empezar el curso dando demasiada información que memorizar.

A continuación mencionaremos algunos de los cambios generales y las ideas que tratamos de tener presentes durante este proceso de reestructuración.

  1. Introdujimos de manera independiente conceptos básicos, pero fundamentales, del francés que pueden presentar dificultades para un hispanohablante, creando una unidad dedicada para cada uno:
    • los artículos partitivos (que no existen en español),
    • el pronombre ce, y su forma c’, y su uso.
  2. Con el objetivo de concentrarnos en una sola dificultad cada vez en esta primera parte del árbol, procuramos no añadir otras dificultades inútiles (a este nivel) e intentamos:
    • introducir sustantivos que tuviesen el mismo género en ambos idiomas,
    • cuando era posible, palabras que fueran lo más “transparentes” posible.

Considerando estos puntos usamos por ejemplo el sustantivo pizza que, a pesar de no ser muy interesante en sí mismo, tiene la ventaja de tener el mismo género en ambos idiomas y de ser 100% transparente. Así que, siendo comida, es una palabra ideal para introducir el artículo partitivo francés.
También introdujimos la palabra escargot (caracol), la cual no es transparente pero tiene el mismo género en ambos idiomas y, también, porque los franceses tienen la fama de comerlos frecuentemente. ;)

<h1>2.¿Por qué no más cambios en el árbol?</h1>

Primero, queremos que sepan que estamos totalmente al corriente de que existen varios problemas en el resto del árbol y que queremos corregirlos cuanto antes. Sepan también que estos problemas (salvo quizás algunos que no hemos visto todavía) no pueden solucionarse sin cambiar la estructura del árbol y que es por esta razón que no han sido corregidos hasta ahora.
Ahora, ¿por qué no hemos arreglado todos los problemas con esta nueva versión? Hay varias razones:

2.1.Porque Duolingo nos lo pidió.

Duolingo está mejorando el funcionamiento de la incubadora, trabajando en un proceso/sistema que permite a todos los equipos de voluntarios poder editar la estructura del árbol de su curso una vez que su curso esté disponible para los usuarios (fase beta o posterior), algo que actualmente es imposible.
Para eso, Duolingo está probando las mejoras que están haciendo en la incubadora. En este contexto, el curso de francés para hispanohablantes hace parte del segundo grupo de cursos (después de cursos como FR<-EN) en probar este nuevo sistema de modificación de la estructura de los árboles. Y cuando Duolingo nos propuso poder probar esto (y entonces mejorar el curso), teníamos por única condición, hacer una cantidad de cambios razonables para que el test de Duolingo de su nuevo sistema no se demore años en dar resultados relevantes y, entonces, que al final todos los cursos puedan aprovechar del sistema cuanto antes.

2.2.Para tener un resultado de A/B test más informativo.

Duolingo va a evaluar durante las próximas semanas o los próximos meses si esta nueva versión da mejores resultados de aprendizaje de manera global. Por eso, es mejor hacer los cambios poco a poco (entre la distintas versiones sucesivas del árbol por venir) para evitar que el cambio hecho en una parte, si no es tan bueno para el aprendizaje, haga bascular el resultado general del test de positivo a negativo. Haciendo los cambio poco a poco, tenemos un mejor control sobre lo que funciona y lo que no.

2.3.Para no esperar más meses o años antes de un primer mejoramiento del árbol.

Pensar, organizar, hacer y probar los cambios que hicimos nos tomó algunos meses: dado el funcionamiento de la incubadora, hacer un cambio en cualquier parte del árbol tiene potencialmente influencia en todo el árbol. Encontramos preferible limitar los cambios para esta versión y ponerla en A/B test ahora en vez de tomar varios meses más (quizás un año o más) para sacar una versión con cambios en todo el árbol. Además que esa decisión vendría con más riesgo de un fracaso del test (cf. punto precedente).

<h1>3.¿Por qué mi árbol no cambió, por qué no tengo este nuevo árbol?</h1>

Antes de que esta nueva versión sea definitivamente el árbol oficial del curso, Duolingo lo evalúa con un “A/B test” como cualquier cambio en Duolingo. Y las etapas son así:

  1. Al principio, sólo un (bajo) porcentaje de los nuevos usuarios del curso (desde que empezó el test) tiene la nueva versión. Una vez acumulados suficientes datos, Duolingo evalúa si la nueva versión tiene un efecto positivo sobre el aprendizaje (comparado con los usuarios que no tienen la nueva versión).
  2. Si no es el caso, el A/B test se acaba ahí y todos regresan a la versión original. Pero si el resultado es positivo, Duolingo aumenta poco a poco (evaluando de continuo la nueva versión) la proporción de usuarios estudiando con esta nueva versión hasta desplegarla al 50% de todos los usuarios. De ahí, Duo espera para tener suficientes datos.
  3. Si el resultado es positivo, la nueva versión se convierte en la versión "normal" para todos los usuarios de Duolingo.
    En el caso contrario, todos tienen de nuevo la versión precedente. Pero esperamos que no suceda esto. ;)

Este funcionamiento explica porque todos no tienen desde el principio la nueva versión: es para asegurarse que la nueva versión es mejor.

<h1>4.¿Puedo decidir de tener esta nueva versión o, al contrario, de regresar a la antigua?</h1>

Debido al funcionamiento de los A/B tests (comparando la nueva versión a la anterior), uno no puede elegir la versión del árbol que tiene durante el A/B test para no crear un sesgo estadístico en los resultados de este.


Eey91 y jrikhal

Hace 2 años

1 comentario
La discusión ha sido cerrada.


https://www.duolingo.com/jrikhal
jrikhal
Mod
  • 22
  • 18
  • 18
  • 14
  • 8
  • 5
  • 5
  • 5
  • 3
  • 3
  • 3
  • 2
  • 2
  • 2
  • 2
  • 2

Hola,

tras unas semanas de la prueba, los resultados(*) no han sido los esperados, por esta razón, se ha decidido detener el test para poder, a partir de estos cambios, seguir trabajando en mejorar aún más estos y otros aspectos del árbol. Esta vez decidimos que haremos muchos más cambios y reorganizaremos casi todo el árbol antes de un nuevo test cuando esta nueva versión esté lista.

(*) evaluados con una medida propia de Duolingo que, por desgracia, mide sólo si los usuarios toman más lecciones (o menos lecciones) que con la antigua versión del árbol.

Eey91 y jrikhal

Hace 2 años