Réingénierie de cours en ligne à base de l'analytique des usages de lecture

Concepts

• Reengineering : "... is the examination and alteration of a subject system to reconstitute it in a new form and the subsequent implementation of the new form"*
  * E. J. Chikofsky, J. H. Cross, et al. Reverse engineering and design recovery: A taxonomy. Software, IEEE, 7(1):13-17, 1990
• Reconception documentaire : Réingénierie appliquée sur le contenu et les structures d'un document
• Reconception documentaires à base d'usages : reconception de documents basée sur les retours (feedbacks) directs ou indirects des lecteurs
• Retour d'usages : feedback direct ou indirect résultant des usages documentaires qu'a eus le lectorat
  
  

Ⅰ. Authoring tool

• Outil pour concevoir et reconcevoir les documents
• Usages + Reconceptions → Contenu + structures documentaires (logique, spatiale, temporelle, navigationnelle)*
  * C. Roisin. Authoring structured multimedia documents. In Proceedings of the 25th Conference on Current Trends in Theory and Practice of Informatics: Theory and Practice of Informatics, SOFSEM'98, pp. 222-239, London, UK, 1998. Springer-Verlag

• Document est composé d'éléments documentaires (docels)
• Docel = building block. Attributs: physiques, temporelles, navigationnels (liens)
• Fragment = Partie d'un docel

Ⅱ. Reading tool

1. Permet la lecture avtive : Annotation

• Cible d'une annotation : annotable element = 1 or + of: docel et/ou fragment et/ou annotation
• Une annotation a un ID, un contenu, un type et une visibilité
• Claire :
  - Types : Question, Erreur de forme, Erreur de contenu, Commentaire, J'ai compris, Je n'ai pas compris, Notes de lecture (notes personnelles) et Autres + Highlight + Annotations liées (annoter an annotation)
  - Visibilité : privée, auteur/reviewer, groupe et publique

Ⅱ. Reading tool

2. Source Collector : collecte les données d'usage des lecteurs.
Usages = Interactions + Annotations
Ces données sont sauvegardées → Traces de lecture

Modèle de Trace

• Trace = Séquence temporelle d'éléments observés (tracks = obsels) enregistrés suite à des interactions entre le lecteur et le document via l'outil de lecture
• Données collectées plutôt brutes → Trace primaire

Ⅱ. Reading tool

Types d'actions (d'Obsels)

• Navigation. Ex: suivre un lien, visiter une certaine URLS, défilement (spatial ou temporel), retour en arrière, avancer
• Manipulation. Sur le contenu documentaire (Ex: sélectionner, chercher, imprimer, zoomer, copier, ajouter aux signets+ media controls: play/pause/stop, etc.) et sur son Contexte (Ex: activer une élément de l'UI pour ouvrir/fermer/télécharger le document)
• Active participation. Ex: ajouter/modifier/supprimer une annotation, annoter/ouvrir/fermer une annotation, mettre en surbrillance (highlight)
• IDLERead. Lecture passive, aucune interaction,
  peut être due à une inactivité ou une absence

Ⅲ. TBMS : Trace-Based Management System

Enregistre et traite les données collectées (traces primaires)

Résultats de traitement de la trace primaire :

1. Trace de haut niveau

Résultat d'un processus de transformation sur la trace primaire pour l'interpréter ou l'abstraire
Ex: filtrage, réécriture, agrégation, ...

2. Indicateurs

Variable calculées, représentant des phénomènes ou des événement d'intérêt
Ex: sections lues/non lues, liens visités/non visités, niveau d'interaction, temps de lecture global/par partie/par classe de lecteurs, etc

Ⅳ. Assistance engine

Analyse les données du TBMS → assister l'auteur pour déterminer et réaliser les reconceptions appropriées.
- Source de données : ensemble arbitraires de données d'usage, provenant d'un seul lecteur, d'un groupe de lecteurs ou de tout le lectorat
- Résultat final : une nouvelle version de document qui sera éventuellement objet d'autres révisions

4 niveaux d'assistance.
Niveau <N> utilise les données fournies par le niveau<N - 1>

Ⅳ. Assistance engine

Ⅳ. Assistance engine

Corpus OC

• OpenClassrooms : 2,4 millions de visiteurs uniques par mois ; 650 000 membres inscrits
• Corpus: 75 jours, ~40 millions de records, CSV ~2,5 Go
• Données côté serveur uniquement : Quelques incertitudes (durées, longueur de sessions)

Stats

• Nombre de cours: 870
• Nombre d’observations : 38 189 751
• Nombre de lecteurs : 82 489
• Obsels de lecteurs authentifiés : 1 965 016 = 6 %
• Obsels de lecteurs anonymes : 36 224 735 = 94 %
• Nombre de sessions distinctes : 3 370 311

Modèle de données OC

• Figure en face

L'approche "Grounded Theory"*

• Notre besoin : Identifier les concepts et les modèles permettant de mieux caractériser la lecture, à partir de données qui existent.
• Grounded Theory : Méthode théorisée en 1967 par deux sociologues (voir Réf)
• “ Au lieu de commencer par la construction d'une hypothèse dans un champ et un cadre théoriques déjà fixés pour ensuite appliquer ce modèle au phénomène étudié, le chercheur commence par la collecte de données, sans a priori (dans la mesure du possible) pour ensuite y chercher ce qui fait sens. ”**
• On procède par étape : chaque résultat d'une étape guide celle qui la suit.

Analyse sur le corpus

• Analyse globale (cours / parties / lecteurs / lectures / ...)
• Analyse décisionnelle : Cours visés
• Analyse pour définir les différents concepts et phénomènes documentaires

Analyse globale

• Cours : 75% des cours détiennent 5 % d’observations. Trop grande dispersion des données. Écart-type trop important. Moyenne = 5 X médiane
• Nombre de parties : Le nombre de partie diffère d’un cours à un autre d’une façon remarquable. La moyenne = 28 parties, 75% des cours n’ont pas plus de 31 parties. Dans les 25% restant, certains cours cumulent jusqu’à 225 parties.
• Lecteurs authentifiés par cours : Grande dispersion. Cours à grand succès vs cours sans succès. 50 % des cours n’accède pas 200 lecteurs. 25% dépasse 20 000.
• Sessions par cours : comme pour les lecteurs, grande dispersion.
• PS : 94% de sessions sont anonymes

Analyse décisionnelle

• Matrice de corrélation : Une relation plus ou moins forte (lien modéré) existe pratiquement entre toutes les variables. Cette relation est directe car tous les coefficients sont positifs.
• Cours étudiés : les plus représentatifs -- proches de la médiane -- en termes de nombre de : parts , paragraphes (taille) , observations , lecteurs authentifiés , sessions , sessions anonymes.
• Cours sélectionnés : en gris sur le tableau.

Concept de séances

• Les indicateurs peuvent se situer sur plusieurs niveaux : plate-forme , Cours , Parts (parties / chapitres / sous-chapitres) , Lecteurs , Sessions et Séances
• Séance (Reading Session): "est une session Web ou une partie d'une session Web dont la durée n'excède pas un seuil représentant une activité réelle et continue de lecture (pouvant être légèrement interrompue, e.g. lecture d'émail, etc.)."
  • Impl.: Un lecteur consacrant 1 heure effective sur un cours va réaliser une séance d’une heure.
  • Calcul : une séance est délimitée par (1) un gap temporel dépassant la durée maximale calculée de lecture+relecture de la dernière partie ;(2) fin de la session Web
  • Le 2e point n'est pas consistant → de brèves interruptions de sessions Web peuvent survenir sans que la lecture ne soit réellement interrompues. Impl : On éliminé ce cas.
  • Mieux : On peut agréger les sessions Web tant que le temps max n'est pas dépassé.

Analyse globale du cours

• Intéressement/Popularité : nombre de visites, de sessions, de lecteurs, etc. Taux d'achèvement, taux moyen de cours lu, etc.
• Temporalité globale: fréquence de consultation, temps moyen nécessaire pour une lecture de bout en bout, etc
• Temporalité des parties : parties de fixation, superflues, toujours lues, jamais lues, distribution du temps de lecture sur les parties, etc.
• Popularité des parties : parties toujours lues, parties très lues, parties très peu lues, parties jamais lues, etc.
• Parcours : parcours-type, formes les plus redondantes, déviance par rapport au parcours linéaire, etc.
• Transitions : séquences redondantes, parties absorbantes, classes de parties, etc.
• Relectures : dans les mêmes séances, dans des séances distinctes, etc.
• Arrêts, ruptures et reprises : Parts causant abandon total, parts causant fin de séances, etc.

Analyse par structure (parts)

• Stats sur la partie, comparés avec le reste des parties : popularité, lectorat, taille, durée et fréquence de consultation, arrêts, relectures
• Provenances, destinations et leurs taux de linéarité. Parties en relation.
• Taux de rupture, avec ou sans reprise, sur la partie. Rupture dans la hiérarchie
• Taux des types de reprise : sur la même partie, la partie juste après, parties antérieures, parties plus en avant

Analyse par lecture (séances : RS)

• Distribution des RS : nombre de RS total/par lecteur/par session, taille et durées des RS. Nombre de parties
• Séances type / récurrentes en termes de parties (avec/sans ordre)
• Taux de linéarité des séances
• Distribution de la relecture dans les séances
• Début, rupture et reprise dans les séances

Présentation des données

• Le calcul des indicateurs résulte soit de la trace première (ex: nombre de sessions) ou de la trace après transformation (ex: séances de lecture)
• Certains de ces indicateurs = indications de lecture (Assistance Niveau 0)
• Les indications doivent être présentées sous un format facile à appréhender par l'auteur → représentation graphique
• Dashboard : permet une vue d'ensemble ou détaillée (mieux overview+detail) des indicateurs et phénomènes étudiés
• Il doit pouvoir aussi offrir une assistance de plus haut niveau
• Notre objectif : tableau de bord + dynamique (possibilité d'agir sur les indicateurs) + possibilités d'agir sur les documents (contenu/structure)
• En cours : début d'implémentation (Calcul : R + application interactive avec R: package Shiny + publication sur le Web : https://shinyapps.io). Partiellement : NIVEAU 0 + NIVEAU 1

Vue d'ensemble

Assistance Niveau 0 sur tout le cours

Assistance Niveau 1 sur tout le cours

Analyse par partie

Assistance Niveau 0 sur la partie

Assistance Niveau 0 sur la partie

Assistance Niveau 1 sur la partie

Assistance Niveau 0 sur les RS

Tableau de bord

• D'autres indicateurs Niveau 0 et 1 sont en cours de définition et d'implémentation
• Niveau 2 (suggestion de reconception) : plusieurs suggestions peuvent être facilement inférées à partir des indicateurs actuels. C'est insuffisant.
• Humaniser les observés (et enrichir la taxonomie d'indicateurs) :
  <Traces> ↔ < Modèles théoriques > ↔ <Phénomènes réels>

Validation

• Concept de séance et son calcul
• Indicateurs et leurs algos. Ex: quand est-ce qu'un saut de partie est réellement un problème?
• Utilité réelle pour la reconception : avis des auteurs important!

• (Ré)intégrer concrètement les annotations : moyen d'avoir un feedback réel ; ça permet aussi d'évaluer la pertinence des indicateurs.
• Réfléchir à la reconception (semi-)automatique
• D'autres pistes : intégrer le profil, interroger les lecteurs, ...

La suite

• 2e étude OpenClassrooms :
  • Indicateurs dans le contexte MOOC
  • Considérer entre autres l'aspect multimédia (lecture audiovisuelle)
• Tableau de bord :
  • Etude IHM de l'interface
  • Implémentation des niveaux 2 et 3
  • Dasboard : intégrer un outil d'authoring ou intégrer le tableau dans un outil d'authoring
• Recherche :
  • Comment appréhender la compréhension ?
  • Quelles sont les modèles/théories mathématiques ou autres qui peuvent rendre compte du comportement humain ?