ScoDoc/app/models/but_refcomp.py

##############################################################################
# ScoDoc
# Copyright (c) 1999 - 2023 Emmanuel Viennet.  All rights reserved.
# See LICENSE
##############################################################################
"""ScoDoc 9 models : Référentiel Compétence BUT 2021
"""
from datetime import datetime
import functools
from operator import attrgetter

from flask_sqlalchemy.query import Query
from sqlalchemy.orm import class_mapper
import sqlalchemy

from app import db

from app.scodoc.sco_utils import ModuleType
from app.scodoc.sco_exceptions import ScoNoReferentielCompetences


# from https://stackoverflow.com/questions/2537471/method-of-iterating-over-sqlalchemy-models-defined-columns
def attribute_names(cls):
    "liste ids (noms de colonnes) d'un modèle"
    return [
        prop.key
        for prop in class_mapper(cls).iterate_properties
        if isinstance(prop, sqlalchemy.orm.ColumnProperty)
    ]


class XMLModel:
    """Mixin class, to ease loading Orebut XMLs"""

    _xml_attribs = {}  # to be overloaded
    id = "_"

    @classmethod
    def attr_from_xml(cls, args: dict) -> dict:
        """dict with attributes imported from Orébut XML
        and renamed for our models.
        The mapping is specified by the _xml_attribs
        attribute in each model class.
        Keep only attributes corresponding to columns in our model:
        other XML attributes are simply ignored.
        """
        columns = attribute_names(cls)
        renamed_attributes = {cls._xml_attribs.get(k, k): v for (k, v) in args.items()}
        return {k: renamed_attributes[k] for k in renamed_attributes if k in columns}

    def __repr__(self):
        return f'<{self.__class__.__name__} {self.id} "{self.titre if hasattr(self, "titre") else ""}">'


class ApcReferentielCompetences(db.Model, XMLModel):
    "Référentiel de compétence d'une spécialité"
    id = db.Column(db.Integer, primary_key=True)
    dept_id = db.Column(
        db.Integer, db.ForeignKey("departement.id", ondelete="CASCADE"), index=True
    )
    annexe = db.Column(db.Text())  # '1', '22', ...
    specialite = db.Column(db.Text())  # 'CJ', 'RT', 'INFO', ...
    specialite_long = db.Column(
        db.Text()
    )  # 'Carrière Juridique', 'Réseaux et télécommunications', ...
    type_titre = db.Column(db.Text())  # 'B.U.T.'
    type_structure = db.Column(db.Text())  # 'type1', 'type2', ...
    type_departement = db.Column(db.Text())  # "secondaire", "tertiaire"
    version_orebut = db.Column(db.Text())  # '2021-12-11 00:00:00'
    _xml_attribs = {  # Orébut xml attrib : attribute
        "type": "type_titre",
        "version": "version_orebut",
    }
    # ScoDoc specific fields:
    scodoc_date_loaded = db.Column(db.DateTime, default=datetime.utcnow)
    scodoc_orig_filename = db.Column(db.Text())
    # Relations:
    competences = db.relationship(
        "ApcCompetence",
        backref="referentiel",
        lazy="dynamic",
        cascade="all, delete-orphan",
    )
    parcours = db.relationship(
        "ApcParcours",
        backref="referentiel",
        lazy="dynamic",
        cascade="all, delete-orphan",
        order_by="ApcParcours.numero, ApcParcours.code",
    )
    formations = db.relationship(
        "Formation",
        backref="referentiel_competence",
        order_by="Formation.acronyme, Formation.version",
    )

    def __repr__(self):
        return f"<ApcReferentielCompetences {self.id} {self.specialite!r} {self.departement!r}>"

    def get_version(self) -> str:
        "La version, normalement sous forme de date iso yyy-mm-dd"
        if not self.version_orebut:
            return ""
        return self.version_orebut.split()[0]

    def to_dict(self, parcours: list["ApcParcours"] = None, with_app_critiques=True):
        """Représentation complète du ref. de comp.
        comme un dict.
        Si parcours est une liste de parcours, restreint l'export aux parcours listés.
        """
        return {
            "dept_id": self.dept_id,
            "annexe": self.annexe,
            "specialite": self.specialite,
            "specialite_long": self.specialite_long,
            "type_structure": self.type_structure,
            "type_departement": self.type_departement,
            "type_titre": self.type_titre,
            "version_orebut": self.version_orebut,
            "scodoc_date_loaded": self.scodoc_date_loaded.isoformat() + "Z"
            if self.scodoc_date_loaded
            else "",
            "scodoc_orig_filename": self.scodoc_orig_filename,
            "competences": {
                x.titre: x.to_dict(with_app_critiques=with_app_critiques)
                for x in self.competences
            },
            "parcours": {
                x.code: x.to_dict()
                for x in (self.parcours if parcours is None else parcours)
            },
        }

    def get_niveaux_by_parcours(
        self, annee: int, parcours: list["ApcParcours"] = None
    ) -> tuple[list["ApcParcours"], dict]:
        """
        Construit la liste des niveaux de compétences pour chaque parcours
        de ce référentiel, ou seulement pour les parcours donnés.

        Les niveaux sont groupés par parcours, en isolant les niveaux de tronc commun.

        Le tronc commun n'est pas identifié comme tel dans les référentiels Orébut:
        on cherche les niveaux qui sont présents dans tous les parcours et les range sous
        la clé "TC" (toujours présente mais éventuellement liste vide si pas de tronc commun).

        Résultat: couple
        (   [ ApcParcours ],
            {
                "TC" : [ ApcNiveau ],
                parcour.id : [ ApcNiveau ]
            }
        )
        """
        parcours_ref = self.parcours.order_by(ApcParcours.numero).all()
        if parcours is None:
            parcours = parcours_ref
        niveaux_by_parcours = {
            parcour.id: ApcNiveau.niveaux_annee_de_parcours(parcour, annee, self)
            for parcour in parcours_ref
        }
        # Cherche tronc commun
        if niveaux_by_parcours:
            niveaux_ids_tc = set.intersection(
                *[
                    {n.id for n in niveaux_by_parcours[parcour_id]}
                    for parcour_id in niveaux_by_parcours
                ]
            )
        else:
            niveaux_ids_tc = set()
        # Enleve les niveaux du tronc commun
        niveaux_by_parcours_no_tc = {
            parcour.id: [
                niveau
                for niveau in niveaux_by_parcours[parcour.id]
                if niveau.id not in niveaux_ids_tc
            ]
            for parcour in parcours
        }
        # Niveaux du TC
        niveaux_tc = []
        if len(parcours):
            niveaux_parcours_1 = niveaux_by_parcours[parcours[0].id]
            niveaux_tc = [
                niveau for niveau in niveaux_parcours_1 if niveau.id in niveaux_ids_tc
            ]
        niveaux_by_parcours_no_tc["TC"] = niveaux_tc
        return parcours, niveaux_by_parcours_no_tc

    def get_competences_tronc_commun(self) -> list["ApcCompetence"]:
        """Liste des compétences communes à tous les parcours du référentiel."""
        parcours = self.parcours.all()
        if not parcours:
            return []

        ids = set.intersection(
            *[
                {competence.id for competence in parcour.query_competences()}
                for parcour in parcours
            ]
        )
        return sorted(
            [
                competence
                for competence in parcours[0].query_competences()
                if competence.id in ids
            ],
            key=attrgetter("numero"),
        )

    def table_niveaux_parcours(self) -> dict:
        """Une table avec les parcours:années BUT et les niveaux
        { parcour_id : { 1 : { competence_id : ordre }}}
        """
        parcours_info = {}
        for parcour in self.parcours:
            descr_parcour = {}
            parcours_info[parcour.id] = descr_parcour
            for annee in (1, 2, 3):
                descr_parcour[annee] = {
                    niveau.competence.id: niveau.ordre
                    for niveau in ApcNiveau.niveaux_annee_de_parcours(
                        parcour, annee, self
                    )
                }

        return parcours_info


class ApcCompetence(db.Model, XMLModel):
    "Compétence"
    id = db.Column(db.Integer, primary_key=True)
    referentiel_id = db.Column(
        db.Integer,
        db.ForeignKey("apc_referentiel_competences.id", ondelete="CASCADE"),
        nullable=False,
    )
    # les compétences dans Orébut sont identifiées par leur id unique
    # (mais id_orebut n'est pas unique car le même ref. pourra être chargé dans plusieurs depts)
    id_orebut = db.Column(db.Text(), nullable=True, index=True)
    titre = db.Column(db.Text(), nullable=False, index=True)
    titre_long = db.Column(db.Text())
    couleur = db.Column(db.Text())
    numero = db.Column(db.Integer, nullable=False, default=0)  # ordre de présentation
    _xml_attribs = {  # xml_attrib : attribute
        "id": "id_orebut",
        "nom_court": "titre",  # was name
        "libelle_long": "titre_long",
    }
    situations = db.relationship(
        "ApcSituationPro",
        backref="competence",
        lazy="dynamic",
        cascade="all, delete-orphan",
    )
    composantes_essentielles = db.relationship(
        "ApcComposanteEssentielle",
        backref="competence",
        lazy="dynamic",
        cascade="all, delete-orphan",
    )
    niveaux = db.relationship(
        "ApcNiveau",
        backref="competence",
        lazy="dynamic",
        cascade="all, delete-orphan",
    )

    def __repr__(self):
        return f"<ApcCompetence {self.id} {self.titre!r}>"

    def to_dict(self, with_app_critiques=True):
        "repr dict recursive sur situations, composantes, niveaux"
        return {
            "id_orebut": self.id_orebut,
            "titre": self.titre,
            "titre_long": self.titre_long,
            "couleur": self.couleur,
            "numero": self.numero,
            "situations": [x.to_dict() for x in self.situations],
            "composantes_essentielles": [
                x.to_dict() for x in self.composantes_essentielles
            ],
            "niveaux": {
                x.annee: x.to_dict(with_app_critiques=with_app_critiques)
                for x in self.niveaux
            },
        }

    def to_dict_bul(self) -> dict:
        "dict court pour bulletins"
        return {
            "id_orebut": self.id_orebut,
            "titre": self.titre,
            "titre_long": self.titre_long,
            "couleur": self.couleur,
            "numero": self.numero,
        }


class ApcSituationPro(db.Model, XMLModel):
    "Situation professionnelle"
    id = db.Column(db.Integer, primary_key=True)
    competence_id = db.Column(
        db.Integer,
        db.ForeignKey("apc_competence.id", ondelete="CASCADE"),
        nullable=False,
    )
    libelle = db.Column(db.Text(), nullable=False)

    # aucun attribut (le text devient le libellé)
    def to_dict(self):
        return {"libelle": self.libelle}


class ApcComposanteEssentielle(db.Model, XMLModel):
    "Composante essentielle"
    id = db.Column(db.Integer, primary_key=True)
    competence_id = db.Column(
        db.Integer,
        db.ForeignKey("apc_competence.id", ondelete="CASCADE"),
        nullable=False,
    )
    libelle = db.Column(db.Text(), nullable=False)

    def to_dict(self):
        return {"libelle": self.libelle}


class ApcNiveau(db.Model, XMLModel):
    """Niveau de compétence
    Chaque niveau peut être associé à deux UE,
    des semestres impair et pair de la même année.
    """

    __tablename__ = "apc_niveau"

    id = db.Column(db.Integer, primary_key=True)
    competence_id = db.Column(
        db.Integer,
        db.ForeignKey("apc_competence.id", ondelete="CASCADE"),
        nullable=False,
    )
    libelle = db.Column(db.Text(), nullable=False)
    annee = db.Column(db.Text(), nullable=False)  # "BUT1", "BUT2", "BUT3"
    # L'ordre est le niveau (1,2,3) ou (1,2) suivant la competence
    ordre = db.Column(db.Integer, nullable=False)  # 1, 2, 3
    app_critiques = db.relationship(
        "ApcAppCritique",
        backref="niveau",
        lazy="dynamic",
        cascade="all, delete-orphan",
    )
    ues = db.relationship("UniteEns", back_populates="niveau_competence")

    def __repr__(self):
        return f"""<{self.__class__.__name__} {self.id} ordre={self.ordre!r} annee={
            self.annee!r} {self.competence!r}>"""

    def to_dict(self, with_app_critiques=True):
        "as a dict, recursif (ou non) sur les AC"
        return {
            "libelle": self.libelle,
            "annee": self.annee,
            "ordre": self.ordre,
            "app_critiques": {x.code: x.to_dict() for x in self.app_critiques}
            if with_app_critiques
            else {},
        }

    def to_dict_bul(self):
        "dict pour bulletins: indique la compétence, pas les ACs (pour l'instant ?)"
        return {
            "libelle": self.libelle,
            "annee": self.annee,
            "ordre": self.ordre,
            "competence": self.competence.to_dict_bul(),
        }

    @functools.cached_property
    def parcours(self) -> list["ApcParcours"]:
        """Les parcours passant par ce niveau.
        Les associations Parcours/Niveaux/compétences ne sont jamais
        changées par ScoDoc, la valeur est donc cachée.
        """
        annee = int(self.annee[-1])
        return (
            ApcParcours.query.join(ApcAnneeParcours)
            .filter_by(ordre=annee)
            .join(ApcParcoursNiveauCompetence, ApcCompetence, ApcNiveau)
            .filter_by(id=self.id)
            .order_by(ApcParcours.numero, ApcParcours.code)
            .all()
        )

    @functools.cached_property
    def is_tronc_commun(self) -> bool:
        """Vrai si ce niveau fait partie du Tronc Commun"""
        return len(self.parcours) == self.competence.referentiel.parcours.count()

    @classmethod
    def niveaux_annee_de_parcours(
        cls,
        parcour: "ApcParcours",
        annee: int,
        referentiel_competence: ApcReferentielCompetences = None,
        competence: ApcCompetence = None,
    ) -> list["ApcNiveau"]:
        """Les niveaux de l'année du parcours
        Si le parcour est None, tous les niveaux de l'année
        (dans ce cas, spécifier referentiel_competence)
        Si competence est indiquée, filtre les niveaux de cette compétence.
        """
        if annee not in {1, 2, 3}:
            raise ValueError("annee invalide pour un parcours BUT")
        referentiel_competence = (
            parcour.referentiel if parcour else referentiel_competence
        )
        if referentiel_competence is None:
            raise ScoNoReferentielCompetences()
        if not parcour:
            annee_formation = f"BUT{annee}"
            query = ApcNiveau.query.filter(
                ApcNiveau.annee == annee_formation,
                ApcCompetence.id == ApcNiveau.competence_id,
                ApcCompetence.referentiel_id == referentiel_competence.id,
            )
            if competence is not None:
                query = query.filter(ApcCompetence.id == competence.id)
            return query.all()

        annee_parcour: ApcAnneeParcours = parcour.annees.filter_by(ordre=annee).first()
        if not annee_parcour:
            return []

        if competence is None:
            parcour_niveaux: list[
                ApcParcoursNiveauCompetence
            ] = annee_parcour.niveaux_competences
            niveaux: list[ApcNiveau] = [
                pn.competence.niveaux.filter_by(ordre=pn.niveau).first()
                for pn in parcour_niveaux
            ]
        else:
            niveaux: list[ApcNiveau] = competence.niveaux.filter_by(
                annee=f"BUT{int(annee)}"
            ).all()
        return niveaux


app_critiques_modules = db.Table(
    "apc_modules_acs",
    db.Column(
        "module_id",
        db.ForeignKey("notes_modules.id", ondelete="CASCADE"),
        primary_key=True,
    ),
    db.Column(
        "app_crit_id",
        db.ForeignKey("apc_app_critique.id", ondelete="CASCADE"),
        primary_key=True,
    ),
)


class ApcAppCritique(db.Model, XMLModel):
    "Apprentissage Critique BUT"
    id = db.Column(db.Integer, primary_key=True)
    niveau_id = db.Column(
        db.Integer, db.ForeignKey("apc_niveau.id", ondelete="CASCADE"), nullable=False
    )
    code = db.Column(db.Text(), nullable=False, index=True)
    libelle = db.Column(db.Text())

    # modules = db.relationship(
    #     "Module",
    #     secondary="apc_modules_acs",
    #     lazy="dynamic",
    #     backref=db.backref("app_critiques", lazy="dynamic"),
    # )

    @classmethod
    def app_critiques_ref_comp(
        cls,
        ref_comp: ApcReferentielCompetences,
        annee: str,
        competence: ApcCompetence = None,
    ) -> Query:
        "Liste les AC de tous les parcours de ref_comp pour l'année indiquée"
        assert annee in {"BUT1", "BUT2", "BUT3"}
        query = cls.query.filter(
            ApcAppCritique.niveau_id == ApcNiveau.id,
            ApcNiveau.competence_id == ApcCompetence.id,
            ApcNiveau.annee == annee,
            ApcCompetence.referentiel_id == ref_comp.id,
        )
        if competence is not None:
            query = query.filter(ApcNiveau.competence == competence)
        return query

    def to_dict(self, with_code=False) -> dict:
        if with_code:
            return {"code": self.code, "libelle": self.libelle}
        return {"libelle": self.libelle}

    def get_label(self) -> str:
        return self.code + " - " + self.titre

    def __repr__(self):
        return f"<{self.__class__.__name__} {self.code!r}>"

    def get_saes(self):
        """Liste des SAE associées"""
        return [m for m in self.modules if m.module_type == ModuleType.SAE]


parcours_modules = db.Table(
    "parcours_modules",
    db.Column(
        "parcours_id",
        db.Integer,
        db.ForeignKey("apc_parcours.id", ondelete="CASCADE"),
        primary_key=True,
    ),
    db.Column(
        "module_id",
        db.Integer,
        db.ForeignKey("notes_modules.id", ondelete="CASCADE"),
        primary_key=True,
    ),
)
"""Association parcours <-> modules (many-to-many)"""

parcours_formsemestre = db.Table(
    "parcours_formsemestre",
    db.Column(
        "parcours_id",
        db.Integer,
        db.ForeignKey("apc_parcours.id", ondelete="CASCADE"),
        primary_key=True,
    ),
    db.Column(
        "formsemestre_id",
        db.Integer,
        db.ForeignKey("notes_formsemestre.id", ondelete="CASCADE"),
        primary_key=True,
    ),
)
"""Association parcours <-> formsemestre (many-to-many)"""


class ApcParcours(db.Model, XMLModel):
    "Un parcours BUT"
    id = db.Column(db.Integer, primary_key=True)
    referentiel_id = db.Column(
        db.Integer,
        db.ForeignKey("apc_referentiel_competences.id", ondelete="CASCADE"),
        nullable=False,
    )
    numero = db.Column(db.Integer, nullable=False, default=0)  # ordre de présentation
    code = db.Column(db.Text(), nullable=False)
    libelle = db.Column(db.Text(), nullable=False)
    annees = db.relationship(
        "ApcAnneeParcours",
        backref="parcours",
        lazy="dynamic",
        cascade="all, delete-orphan",
    )

    def __repr__(self) -> str:
        return f"<{self.__class__.__name__} {self.id} {self.code!r} ref={self.referentiel}>"

    def to_dict(self, with_annees=True) -> dict:
        """dict repr.
        On peut ne pas indiquer les années pour gagner de la place (export formations).
        """
        d = {
            "code": self.code,
            "numero": self.numero,
            "libelle": self.libelle,
        }
        if with_annees:
            d["annees"] = {x.ordre: x.to_dict() for x in self.annees}
        return d

    def query_competences(self) -> Query:
        "Les compétences associées à ce parcours"
        return (
            ApcCompetence.query.join(ApcParcoursNiveauCompetence, ApcAnneeParcours)
            .filter_by(parcours_id=self.id)
            .order_by(ApcCompetence.numero)
        )

    def get_competence_by_titre(self, titre: str) -> ApcCompetence:
        "La compétence de titre donné dans ce parcours, ou None"
        return (
            ApcCompetence.query.filter_by(titre=titre)
            .join(ApcParcoursNiveauCompetence, ApcAnneeParcours)
            .filter_by(parcours_id=self.id)
            .order_by(ApcCompetence.numero)
            .first()
        )


class ApcAnneeParcours(db.Model, XMLModel):
    id = db.Column(db.Integer, primary_key=True)
    parcours_id = db.Column(
        db.Integer, db.ForeignKey("apc_parcours.id", ondelete="CASCADE"), nullable=False
    )
    ordre = db.Column(db.Integer)
    "numéro de l'année: 1, 2, 3"

    def __repr__(self):
        return f"""<{self.__class__.__name__} {
            self.id} ordre={self.ordre!r} parcours={self.parcours.code!r}>"""

    def to_dict(self):
        return {
            "ordre": self.ordre,
            "competences": {
                x.competence.titre: {
                    "niveau": x.niveau,
                    "id_orebut": x.competence.id_orebut,
                }
                for x in self.niveaux_competences
            },
        }


class ApcParcoursNiveauCompetence(db.Model):
    """Association entre année de parcours et compétence.
    Le "niveau" de la compétence est donné ici
    (convention Orébut)
    """

    competence_id = db.Column(
        db.Integer,
        db.ForeignKey("apc_competence.id", ondelete="CASCADE"),
        primary_key=True,
    )
    annee_parcours_id = db.Column(
        db.Integer,
        db.ForeignKey("apc_annee_parcours.id", ondelete="CASCADE"),
        primary_key=True,
    )
    niveau = db.Column(db.Integer, nullable=False)  # 1, 2, 3
    competence = db.relationship(
        ApcCompetence,
        backref=db.backref(
            "annee_parcours",
            passive_deletes=True,
            cascade="save-update, merge, delete, delete-orphan",
            lazy="dynamic",
        ),
    )
    annee_parcours = db.relationship(
        ApcAnneeParcours,
        backref=db.backref(
            "niveaux_competences",
            passive_deletes=True,
            cascade="save-update, merge, delete, delete-orphan",
        ),
    )

    def __repr__(self):
        return f"<{self.__class__.__name__} {self.competence!r}<->{self.annee_parcours!r} niveau={self.niveau!r}>"