# -*- mode: python -*- # -*- coding: utf-8 -*- ############################################################################## # # Gestion scolarite IUT # # Copyright (c) 1999 - 2023 Emmanuel Viennet. All rights reserved. # # This program is free software; you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation; either version 2 of the License, or # (at your option) any later version. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program; if not, write to the Free Software # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA # # Emmanuel Viennet emmanuel.viennet@viennet.net # ############################################################################## """ScoDoc : formulaires gestion maquettes Apogee / export resultats """ import io from zipfile import ZipFile import flask from flask import url_for, g, send_file, request import app.scodoc.sco_utils as scu from app import log from app.models import Formation from app.scodoc import html_sco_header from app.scodoc import sco_apogee_csv from app.scodoc import sco_etape_apogee from app.scodoc import sco_formsemestre from app.scodoc import sco_portal_apogee from app.scodoc import sco_preferences from app.scodoc import sco_semset from app.scodoc import sco_etud from app.scodoc.gen_tables import GenTable from app.scodoc.sco_apogee_csv import APO_INPUT_ENCODING, APO_OUTPUT_ENCODING from app.scodoc.sco_exceptions import ScoValueError def apo_semset_maq_status( semset_id: int, allow_missing_apo=False, allow_missing_decisions=False, allow_missing_csv=False, block_export_res_etape=False, block_export_res_sem=False, block_export_res_ues=False, block_export_res_modules=False, block_export_res_sdj=True, ): """Page statut / tableau de bord""" if not semset_id: raise ScoValueError("invalid null semset_id") semset = sco_semset.SemSet(semset_id=semset_id) semset.fill_formsemestres() # autorise export meme si etudiants Apo manquants: allow_missing_apo = int(allow_missing_apo) # autorise export meme s'il manque des décisions de jury: allow_missing_decisions = int(allow_missing_decisions) # autorise export même si maquette csv manquantes: allow_missing_csv = int(allow_missing_csv) block_export_res_etape = int(block_export_res_etape) block_export_res_sem = int(block_export_res_sem) block_export_res_ues = int(block_export_res_ues) block_export_res_modules = int(block_export_res_modules) block_export_res_sdj = int(block_export_res_sdj) prefs = sco_preferences.SemPreferences() tab_archives = table_apo_csv_list(semset) ( ok_for_export, etapes_missing_csv, etuds_without_nip, nips_ok, nips_no_apo, nips_no_sco, apo_dups, maq_elems, sem_elems, ) = sco_etape_apogee.apo_csv_semset_check( semset, allow_missing_apo, allow_missing_csv ) if not allow_missing_decisions: ok_for_export &= semset["jury_ok"] H = [ html_sco_header.sco_header( page_title="Export Apogée", javascripts=["js/apo_semset_maq_status.js"], ), """

Export des résultats vers Apogée

""" """
""", semset.html_descr(), semset.html_form_sems(), """
""", ] # Bilans code apogée H.append(semset.html_diagnostic()) # Maquettes enregistrées H.append( """
Maquettes Apogée """ ) if not tab_archives.is_empty(): H.append(tab_archives.html()) else: H.append("""

Aucune maquette chargée

""") # Upload fichier: H.append( """
Charger votre fichier maquette Apogée: autodétecter encodage
""" % (semset_id,) ) # Récupération sur portail: maquette_url = sco_portal_apogee.get_maquette_url() if maquette_url: # portail configuré menu_etapes = """""" menu_etapes += "".join( ['' % (et, et) for et in semset.list_etapes()] ) H.append( """
Ou récupérer maquette Apogée pour une étape:
""" % (menu_etapes, semset_id) ) # H.append("
") # Tableau de bord if ok_for_export: class_ok = "apo_csv_status_ok" else: class_ok = "apo_csv_status_nok" H.append('
' % class_ok) if ok_for_export: H.append("""Exportation""") else: H.append( """Problèmes à résoudre avant export des résultats:""" ) H.append('
") # Decisions de jury if semset["jury_ok"]: class_ok = "apo_csv_jury_ok" else: class_ok = "apo_csv_jury_nok" H.append('
") H.append( """
autoriser export même si étudiants manquants dans Apogée
""" ) H.append( """
autoriser export même si des décisions de jury n'ont pas été saisies
""" ) H.append( """
autoriser export même si étapes sans maquettes
""") H.append("""
""") if semset and ok_for_export: H.append( """
""" % (semset_id,) ) H.append('
') def checked(block, pname, msg): if not prefs[pname]: return ( "disabled", "checked", "export de " + msg + " désactivé dans les paramètres", ) if block: return "", "checked", "ne pas exporter " + msg else: return "", "", "ne pas exporter " + msg H.append( """
""" % checked( block_export_res_etape, "export_res_etape", "résultat de l'étape (VET), sauf si diplôme", ) ) H.append( """
""" % checked(block_export_res_sem, "export_res_sem", "résultat du semestre") ) H.append( """
""" % checked(block_export_res_ues, "export_res_ues", "résultats d'UE") ) H.append( """
""" % checked( block_export_res_modules, "export_res_modules", "résultats de module" ) ) H.append( """
""" % checked( block_export_res_sdj, "export_res_sdj", "résultats sans décision de jury", ) ) H.append("
") H.append("
") # Elements: missing = maq_elems - sem_elems H.append('
') H.append( '

Elements Apogée: %s

' % ", ".join( [ e if not e in missing else '' + e + "" for e in sorted(maq_elems) ] ) ) if missing: formation_ids = {sem["formation_id"] for sem in semset.sems} formations = [ Formation.query.get_or_404(formation_id) for formation_id in formation_ids ] H.append( f"""
Elements Apogée absents dans ScoDoc: { ", ".join(sorted(missing)) }
Ces éléments de la maquette Apogée ne sont pas déclarés dans ScoDoc et ne seront donc pas remplis.
Vous pouvez les déclarer dans les programmes pédagogiques: """ ) H.append( ", ".join( [ f"""{f.acronyme} v{f.version}""" for f in formations ] ) ) H.append("
") H.append("
") H.append("
") # Aide: H.append( """

Retour aux ensembles de semestres

Explications

Cette page permet de stocker les fichiers Apogée nécessaires pour l'export des résultats après les jurys, puis de remplir et exporter ces fichiers.

Les fichiers ("maquettes") Apogée sont de type CSV, du texte codé en %s.

On a un fichier par étape Apogée. Pour les obtenir, soit on peut les télécharger directement (si votre ScoDoc est interfacé avec Apogée), soit se débrouiller pour exporter le fichier texte depuis Apogée. Son contenu ressemble à cela:

 XX-APO_TITRES-XX
 apoC_annee	2007/2008
 apoC_cod_dip	VDTCJ
 apoC_Cod_Exp	1
 apoC_cod_vdi	111
 apoC_Fichier_Exp	VDTCJ_V1CJ.txt
 apoC_lib_dip	DUT CJ
 apoC_Titre1	Export Apogée du 13/06/2008 à 14:29
 apoC_Titre2

 XX-APO_COLONNES-XX
 apoL_a01_code	Type Objet	Code	Version	Année	Session	Admission/Admissibilité	Type Rés.			Etudiant	Numéro
 apoL_a02_nom										1	Nom
 apoL_a03_prenom										1	Prénom
 apoL_a04_naissance									Session	Admissibilité	Naissance
 APO_COL_VAL_DEB
 apoL_c0001	VET	V1CJ	111	2007	0	1	N	V1CJ - DUT CJ an1	0	1	Note
 apoL_c0002	VET	V1CJ	111	2007	0	1	B		0	1	Barème
 apoL_c0003	VET	V1CJ	111	2007	0	1	R		0	1	Résultat
 APO_COL_VAL_FIN
 apoL_c0030	APO_COL_VAL_FIN

 XX-APO_VALEURS-XX
 apoL_a01_code	apoL_a02_nom	apoL_a03_prenom	apoL_a04_naissance	apoL_c0001	apoL_c0002	apoL_c0003	apoL_c0004	apoL_c0005	apoL_c0006 (...)
 11681234	DUPONT	TOTO	 23/09/1986	18	20	ADM	18	20	ADM	(...)
    

Après avoir obtenu les fichier, stockez-les dans ScoDoc (bouton "Ajouter fichier" en haut de cette page. Après vérification, il va apparaitre dans une table. Vous pouvez supprimer ce fichier, ou en ajouter d'autres si votre semestre correspond à plusieurs étapes Apogée.

ScoDoc vérifie que tous les étudiants du semestre sont mentionnés dans un fichier Apogée et que les étapes correspondent.

Lorsque c'est le cas, et que les décisions de jury sont saisies, un bouton "Export vers Apogée" apparait et vous pouvez exporter les résultats.

Vous obtiendrez alors un fichier ZIP comprenant tous les fichiers nécessaires. Certains de ces fichiers devront être importés dans Apogée.

""" % (APO_INPUT_ENCODING,) ) H.append(html_sco_header.sco_footer()) return "\n".join(H) def table_apo_csv_list(semset): """Table des archives (triée par date d'archivage)""" annee_scolaire = semset["annee_scolaire"] sem_id = semset["sem_id"] T = sco_etape_apogee.apo_csv_list_stored_archives( annee_scolaire, sem_id, etapes=semset.list_etapes() ) for t in T: # Ajoute qq infos pour affichage: csv_data = sco_etape_apogee.apo_csv_get(t["etape_apo"], annee_scolaire, sem_id) apo_data = sco_apogee_csv.ApoData(csv_data, periode=semset["sem_id"]) t["filename"] = apo_data.titles["apoC_Fichier_Exp"] t["nb_etuds"] = len(apo_data.etuds) t["date_str"] = t["date"].strftime("%d/%m/%Y à %H:%M") view_link = "view_apo_csv?etape_apo=%s&semset_id=%s" % ( t["etape_apo"], semset["semset_id"], ) t["_filename_target"] = view_link t["_etape_apo_target"] = view_link t["suppress"] = scu.icontag( "delete_small_img", border="0", alt="supprimer", title="Supprimer" ) t["_suppress_target"] = "view_apo_csv_delete?etape_apo=%s&semset_id=%s" % ( t["etape_apo"], semset["semset_id"], ) columns_ids = ["filename", "etape_apo", "date_str", "nb_etuds"] # if can_edit: columns_ids = ["suppress"] + columns_ids tab = GenTable( titles={ "archive_id": "", "filename": "Fichier", "etape_apo": "Etape", "nb_etuds": "Nb étudiants", "date_str": "Enregistré le", }, columns_ids=columns_ids, rows=T, html_class="table_leftalign apo_maq_list", html_sortable=True, # base_url = '%s?formsemestre_id=%s' % (request.base_url, formsemestre_id), # caption='Maquettes enregistrées', preferences=sco_preferences.SemPreferences(), ) return tab def view_apo_etuds(semset_id, title="", nip_list="", format="html"): """Table des étudiants Apogée par nips nip_list est une chaine, codes nip séparés par des , """ if not semset_id: raise ValueError("invalid null semset_id") semset = sco_semset.SemSet(semset_id=semset_id) # annee_scolaire = semset["annee_scolaire"] # sem_id = semset["sem_id"] if not isinstance(nip_list, str): nip_list = str(nip_list) nips = nip_list.split(",") etuds = sco_etape_apogee.apo_csv_retreive_etuds_by_nip(semset, nips) # Ils sont parfois dans ScoDoc même si pas dans le semestre: essaie de les retrouver for etud in etuds.values(): etud_sco = sco_etud.get_etud_info(code_nip=etud["nip"], filled=True) if etud_sco: e = etud_sco[0] etud["inscriptions_scodoc"] = ", ".join( [ '{s[etapes_apo_str]} (S{s[semestre_id]})'.format( s=sem, e=e ) for sem in e["sems"] ] ) return _view_etuds_page( semset_id, title=title, etuds=list(etuds.values()), keys=("nip", "etape_apo", "nom", "prenom", "inscriptions_scodoc"), format=format, ) def view_scodoc_etuds(semset_id, title="", nip_list="", format="html"): """Table des étudiants ScoDoc par nips ou etudids""" if not isinstance(nip_list, str): nip_list = str(nip_list) nips = nip_list.split(",") etuds = [sco_etud.get_etud_info(code_nip=nip, filled=True)[0] for nip in nips] for e in etuds: tgt = url_for("scolar.ficheEtud", scodoc_dept=g.scodoc_dept, etudid=e["etudid"]) e["_nom_target"] = tgt e["_prenom_target"] = tgt e["_nom_td_attrs"] = 'id="%s" class="etudinfo"' % (e["etudid"],) e["_prenom_td_attrs"] = 'id="pre-%s" class="etudinfo"' % (e["etudid"],) return _view_etuds_page( semset_id, title=title, etuds=etuds, keys=("code_nip", "nom", "prenom"), format=format, ) def _view_etuds_page(semset_id, title="", etuds=[], keys=(), format="html"): # Tri les étudiants par nom: if etuds: etuds.sort(key=lambda x: (x["nom"], x["prenom"])) H = [ html_sco_header.sco_header( page_title=title, init_qtip=True, javascripts=["js/etud_info.js"], ), "

%s

" % title, ] tab = GenTable( titles={ "nip": "Code NIP", "code_nip": "Code NIP", "etape_apo": "Etape", "nom": "Nom", "prenom": "Prénom", "inscriptions_scodoc": "Inscriptions ScoDoc", }, columns_ids=keys, rows=etuds, html_sortable=True, html_class="table_leftalign", filename="students_apo", preferences=sco_preferences.SemPreferences(), ) if format != "html": return tab.make_page(format=format) H.append(tab.html()) H.append( """

Retour à la page d'export Apogée""" % semset_id ) return "\n".join(H) + html_sco_header.sco_footer() def view_apo_csv_store(semset_id="", csvfile=None, data: bytes = "", autodetect=False): """Store CSV data Le semset identifie l'annee scolaire et le semestre Si csvfile, lit depuis FILE, sinon utilise data """ if not semset_id: raise ValueError("invalid null semset_id") semset = sco_semset.SemSet(semset_id=semset_id) try: if csvfile: data = csvfile.read() # bytes if autodetect: # check encoding (although documentation states that users SHOULD upload LATIN1) data, message = sco_apogee_csv.fix_data_encoding(data) if message: log(f"view_apo_csv_store: {message}") else: log("view_apo_csv_store: autodetection of encoding disabled by user") if not data: raise ScoValueError("view_apo_csv_store: no data") # data est du bytes, encodé en APO_INPUT_ENCODING data_str = data.decode(APO_INPUT_ENCODING) except (UnicodeDecodeError, UnicodeEncodeError) as exc: dest_url = url_for( "notes.apo_semset_maq_status", scodoc_dept=g.scodoc_dept, semset_id=semset_id, ) if autodetect: raise ScoValueError( f""" Erreur: l'encodage du fichier est mal détecté. Essayez sans auto-détection, ou vérifiez le codage et le contenu du fichier (qui doit être en {sco_apogee_csv.APO_INPUT_ENCODING}). """, dest_url=dest_url, ) from exc else: raise ScoValueError( f""" Erreur: l'encodage du fichier est incorrect. Vérifiez qu'il est bien en {sco_apogee_csv.APO_INPUT_ENCODING} """, dest_url=dest_url, ) from exc # check si etape maquette appartient bien au semset apo_data = sco_apogee_csv.ApoData( data_str, periode=semset["sem_id"] ) # parse le fichier -> exceptions if apo_data.etape not in semset["etapes"]: raise ScoValueError( "Le code étape de ce fichier ne correspond pas à ceux de cet ensemble" ) sco_etape_apogee.apo_csv_store(data_str, semset["annee_scolaire"], semset["sem_id"]) return flask.redirect( url_for( "notes.apo_semset_maq_status", scodoc_dept=g.scodoc_dept, semset_id=semset_id, ) ) def view_apo_csv_download_and_store(etape_apo="", semset_id=""): """Download maquette and store it""" if not semset_id: raise ValueError("invalid null semset_id") semset = sco_semset.SemSet(semset_id=semset_id) data = sco_portal_apogee.get_maquette_apogee( etape=etape_apo, annee_scolaire=semset["annee_scolaire"] ) # here, data is str # but we store and generate latin1 files, to ease further import in Apogée data = data.encode(APO_OUTPUT_ENCODING) return view_apo_csv_store(semset_id, data=data, autodetect=False) def view_apo_csv_delete(etape_apo="", semset_id="", dialog_confirmed=False): """Delete CSV file""" if not semset_id: raise ValueError("invalid null semset_id") semset = sco_semset.SemSet(semset_id=semset_id) dest_url = f"apo_semset_maq_status?semset_id={semset_id}" if not dialog_confirmed: return scu.confirm_dialog( """

Confirmer la suppression du fichier étape %s?

La suppression sera définitive.

""" % (etape_apo,), dest_url="", cancel_url=dest_url, parameters={"semset_id": semset_id, "etape_apo": etape_apo}, ) info = sco_etape_apogee.apo_csv_get_archive( etape_apo, semset["annee_scolaire"], semset["sem_id"] ) if info: sco_etape_apogee.apo_csv_delete(info["archive_id"]) return flask.redirect(dest_url + "&head_message=Archive%20supprimée") return flask.redirect(dest_url + "&head_message=Archive%20inexistante") def view_apo_csv(etape_apo="", semset_id="", format="html"): """Visualise une maquette stockée Si format="raw", renvoie le fichier maquette tel quel """ if not semset_id: raise ValueError("invalid null semset_id") semset = sco_semset.SemSet(semset_id=semset_id) annee_scolaire = semset["annee_scolaire"] sem_id = semset["sem_id"] csv_data = sco_etape_apogee.apo_csv_get(etape_apo, annee_scolaire, sem_id) if format == "raw": return scu.send_file(csv_data, etape_apo, suffix=".txt", mime=scu.CSV_MIMETYPE) apo_data = sco_apogee_csv.ApoData(csv_data, periode=semset["sem_id"]) ( ok_for_export, etapes_missing_csv, etuds_without_nip, nips_ok, nips_no_apo, nips_no_sco, apo_dups, maq_elems, sem_elems, ) = sco_etape_apogee.apo_csv_semset_check(semset) H = [ html_sco_header.sco_header( page_title="Maquette Apogée enregistrée pour %s" % etape_apo, init_qtip=True, javascripts=["js/etud_info.js"], ), """

Etudiants dans la maquette Apogée %s

""" % etape_apo, """

Pour l'ensemble %(title)s (indice semestre: %(sem_id)s)

""" % semset, ] # Infos générales H.append( """
Code étape:{0.etape_apogee} VDI {0.vdi_apogee} (année {0.annee_scolaire})
""".format( apo_data ) ) # Liste des étudiants (sans les résultats pour le moment): TODO etuds = apo_data.etuds if not etuds: return "\n".join(H) + "

Aucun étudiant

" + html_sco_header.sco_footer() # Ajout infos sur ScoDoc vs Apogee for e in etuds: e["in_scodoc"] = e["nip"] not in nips_no_sco e["in_scodoc_str"] = {True: "oui", False: "non"}[e["in_scodoc"]] if e["in_scodoc"]: e["_in_scodoc_str_target"] = url_for( "scolar.ficheEtud", scodoc_dept=g.scodoc_dept, code_nip=e["nip"] ) e.update(sco_etud.get_etud_info(code_nip=e["nip"], filled=True)[0]) e["_nom_td_attrs"] = 'id="%s" class="etudinfo"' % (e["etudid"],) e["_prenom_td_attrs"] = 'id="pre-%s" class="etudinfo"' % (e["etudid"],) else: e["_css_row_class"] = "apo_not_scodoc" # Construit la table: tab = GenTable( titles={ "nip": "Code NIP", "nom": "Nom", "prenom": "Prénom", "naissance": "Naissance", "in_scodoc_str": "Inscrit dans ces semestres ScoDoc", }, columns_ids=("nip", "nom", "prenom", "naissance", "in_scodoc_str"), rows=etuds, html_sortable=True, html_class="table_leftalign apo_maq_table", base_url="%s?etape_apo=%s&semset_id=%s" % (request.base_url, etape_apo, semset_id), filename="students_" + etape_apo, caption="Étudiants Apogée en " + etape_apo, preferences=sco_preferences.SemPreferences(), ) if format != "html": return tab.make_page(format=format) H += [ tab.html(), """

fichier maquette CSV brut (non rempli par ScoDoc)

""" % (etape_apo, semset_id), """
Retour
""" % semset_id, html_sco_header.sco_footer(), ] return "\n".join(H) # called from Web (GET) def apo_csv_export_results( semset_id, block_export_res_etape=False, block_export_res_sem=False, block_export_res_ues=False, block_export_res_modules=False, block_export_res_sdj=False, ): """Remplit les fichiers CSV archivés et donne un ZIP avec tous les résultats. """ # nota: on peut éventuellement exporter même si tout n'est pas ok # mais le lien via le tableau de bord n'est pas actif # Les fichiers résultats ne sont pas stockés: pas besoin de permission particulière prefs = sco_preferences.SemPreferences() export_res_etape = prefs["export_res_etape"] and not int(block_export_res_etape) export_res_sem = prefs["export_res_sem"] and not int(block_export_res_sem) export_res_ues = prefs["export_res_ues"] and not int(block_export_res_ues) export_res_modules = prefs["export_res_modules"] and not int( block_export_res_modules ) export_res_sdj = prefs["export_res_sdj"] and not int(block_export_res_sdj) export_res_rat = prefs["export_res_rat"] if not semset_id: raise ValueError("invalid null semset_id") semset = sco_semset.SemSet(semset_id=semset_id) annee_scolaire = semset["annee_scolaire"] periode = semset["sem_id"] data = io.BytesIO() dest_zip = ZipFile(data, "w") etapes_apo = sco_etape_apogee.apo_csv_list_stored_etapes( annee_scolaire, periode, etapes=semset.list_etapes() ) for etape_apo in etapes_apo: apo_csv = sco_etape_apogee.apo_csv_get(etape_apo, annee_scolaire, periode) sco_apogee_csv.export_csv_to_apogee( apo_csv, periode=periode, export_res_etape=export_res_etape, export_res_sem=export_res_sem, export_res_ues=export_res_ues, export_res_modules=export_res_modules, export_res_sdj=export_res_sdj, export_res_rat=export_res_rat, dest_zip=dest_zip, ) dest_zip.close() data.seek(0) basename = ( sco_preferences.get_preference("DeptName") + str(annee_scolaire) + "-%s-" % periode + "-".join(etapes_apo) ) basename = scu.unescape_html(basename) return send_file( data, mimetype="application/zip", download_name=scu.sanitize_filename(basename + ".zip"), as_attachment=True, )