From 4b63fe81e437601132e4b2b748222946792bf775 Mon Sep 17 00:00:00 2001
From: Emmanuel Viennet <emmanuel.viennet@gmail.com>
Date: Wed, 5 Jan 2022 01:03:25 +0100
Subject: [PATCH 1/5] fix: het sort

---
 app/scodoc/sco_report.py | 18 +++++++-----------
 app/scodoc/sco_utils.py  |  5 +++++
 2 files changed, 12 insertions(+), 11 deletions(-)

diff --git a/app/scodoc/sco_report.py b/app/scodoc/sco_report.py
index d480679b..6c2582ef 100644
--- a/app/scodoc/sco_report.py
+++ b/app/scodoc/sco_report.py
@@ -49,16 +49,12 @@ from app.scodoc import sco_etud
 from app.scodoc import sco_excel
 from app.scodoc import sco_formsemestre
 from app.scodoc import sco_formsemestre_inscriptions
-from app.scodoc import sco_formsemestre_status
 from app.scodoc import sco_parcours_dut
-from app.scodoc import sco_pdf
 from app.scodoc import sco_preferences
 import sco_version
 from app.scodoc.gen_tables import GenTable
 from app import log
 from app.scodoc.sco_codes_parcours import code_semestre_validant
-from app.scodoc.sco_exceptions import ScoValueError
-from app.scodoc.sco_pdf import SU
 
 MAX_ETUD_IN_DESCR = 20
 
@@ -121,9 +117,9 @@ def _categories_and_results(etuds, category, result):
         categories[etud[category]] = True
         results[etud[result]] = True
     categories = list(categories.keys())
-    categories.sort()
+    categories.sort(key=scu.heterogeneous_sorting_key)
     results = list(results.keys())
-    results.sort()
+    results.sort(key=scu.heterogeneous_sorting_key)
     return categories, results
 
 
@@ -166,7 +162,7 @@ def _results_by_category(
         l["sumpercent"] = "%2.1f%%" % ((100.0 * l["sum"]) / tot)
     #
     codes = list(results.keys())
-    codes.sort()
+    codes.sort(key=scu.heterogeneous_sorting_key)
 
     bottom_titles = []
     if C:  # ligne du bas avec totaux:
@@ -314,7 +310,7 @@ def formsemestre_report_counts(
                 "type_admission",
                 "boursier_prec",
             ]
-        keys.sort()
+        keys.sort(key=scu.heterogeneous_sorting_key)
         F = [
             """<form name="f" method="get" action="%s"><p>
               Colonnes: <select name="result" onchange="document.f.submit()">"""
@@ -497,7 +493,7 @@ def table_suivi_cohorte(
             P.append(p)
 
     # 4-- regroupe par indice de semestre S_i
-    indices_sems = list(set([s["semestre_id"] for s in sems]))
+    indices_sems = list({s["semestre_id"] for s in sems})
     indices_sems.sort()
     for p in P:
         p.nb_etuds = 0  # nombre total d'etudiants dans la periode
@@ -788,9 +784,9 @@ def _gen_form_selectetuds(
 ):
     """HTML form pour choix criteres selection etudiants"""
     bacs = list(bacs)
-    bacs.sort()
+    bacs.sort(key=scu.heterogeneous_sorting_key)
     bacspecialites = list(bacspecialites)
-    bacspecialites.sort()
+    bacspecialites.sort(key=scu.heterogeneous_sorting_key)
     # on peut avoir un mix de chaines vides et d'entiers:
     annee_bacs = [int(x) if x else 0 for x in annee_bacs]
     annee_bacs.sort()
diff --git a/app/scodoc/sco_utils.py b/app/scodoc/sco_utils.py
index 4c473491..360eee97 100644
--- a/app/scodoc/sco_utils.py
+++ b/app/scodoc/sco_utils.py
@@ -898,6 +898,11 @@ def sort_dates(L, reverse=False):
         raise
 
 
+def heterogeneous_sorting_key(x):
+    "key to sort non homogeneous sequences"
+    return (float(x), "") if isinstance(x, (bool, float, int)) else (-1e34, str(x))
+
+
 def query_portal(req, msg="Portail Apogee", timeout=3):
     """Retreives external data using HTTP request
     (used to connect to Apogee portal, or ScoDoc server)

From ff948cb98df66a5d3c4d202bb2ad2765e784f0b3 Mon Sep 17 00:00:00 2001
From: Emmanuel Viennet <emmanuel.viennet@gmail.com>
Date: Wed, 5 Jan 2022 01:04:07 +0100
Subject: [PATCH 2/5] new users default dept in form

---
 app/views/users.py | 3 +++
 1 file changed, 3 insertions(+)

diff --git a/app/views/users.py b/app/views/users.py
index 21c992fd..be824173 100644
--- a/app/views/users.py
+++ b/app/views/users.py
@@ -388,6 +388,9 @@ def create_user_form(user_name=None, edit=0, all_roles=1):
                         "explanation": """département de rattachement de l'utilisateur""",
                         "labels": selectable_dept_acronyms,
                         "allowed_values": selectable_dept_acronyms,
+                        "default": g.scodoc_dept
+                        if g.scodoc_dept in selectable_dept_acronyms
+                        else "",
                     },
                 )
             )

From efe997fe55f7065924278b10bc7cc4aff0bd99e3 Mon Sep 17 00:00:00 2001
From: Jean-Marie PLACE <jean-marie.place@univ-lille1.fr>
Date: Wed, 5 Jan 2022 06:09:55 +0100
Subject: [PATCH 3/5] check scodoc-data.old ; correction bug --keep-env

---
 tools/restore_scodoc9_data.sh | 35 ++++++++++++++++++++++++++---------
 1 file changed, 26 insertions(+), 9 deletions(-)

diff --git a/tools/restore_scodoc9_data.sh b/tools/restore_scodoc9_data.sh
index 43624ba8..50ca92b1 100755
--- a/tools/restore_scodoc9_data.sh
+++ b/tools/restore_scodoc9_data.sh
@@ -24,6 +24,11 @@ usage() {
   exit 1
 }
 
+# analyse de la ligne de commande
+# calcule:
+# SRC = fichier source de la restauration
+# DB_DEST = base de données destination
+# KEEP_ENV = vide si restauration à l'identique (i.e. production)
 if (($# < 1 || $# > 2))
 then
   usage
@@ -37,7 +42,7 @@ else
   echo "restauration des données dans la configuration actuelle"
   DB_CURRENT=$(su -c "(cd $SCODOC_DIR && source venv/bin/activate && flask scodoc-database -n)")
   DB_DEST="$DB_CURRENT"
-  KEEP=1
+  KEEP_ENV=Y
   if [ $1 = '--keep-env' ]; then
     SRC=$2
   else
@@ -56,21 +61,34 @@ echo "Notamment, tous les utilisateurs et departements existants seront effaces
 echo
 echo "La base SQL $DB_CURRENT sera effacée et remplacée !!!"
 echo
-echo -n "Voulez vous poursuivre cette operation ? (y/n) [n]"
+# Préparation si une copie 'antique' doit être effacée, demander confirmation, puis effacer
+SCODOC_VAR_OLD=${SCODOC_VAR_DIR}.old
+if [ -e "$SCODOC_VAR_DIR" ] && [ -e "$SCODOC_VAR_OLD" ]
+then
+  echo "une ancienne sauvegarde ('$SCODOC_VAR_OLD' en date du $(stat -c %w $SCODOC_VAR_OLD) ) va être effacée."
+  echo
+fi
+if [ ! -z $KEEP_ENV ]
+then
+   echo -n "restauration des données sans changement de configuration: Assurez-vous d'avoir arrété le serveur scodoc."
+   echo
+fi
+
+echo -n "Voulez vous poursuivre la restauration ? (y/n) [n]"
 read -r ans
 if [ ! "$(norm_ans "$ans")" = 'Y' ]
 then
-   echo "Annulation"
+   echo "Annulation de la restauration par l\'utilisateur"
    exit 1
 fi
 
+rm -rf $SCODOC_VAR_OLD || die "Erreur suppression $SCODOC_VAR_OLD"
+
 # -- Stop ScoDoc
-if [ $KEEP -ne 1 ]; then
+if [ -z $KEEP_ENV ]
+then
    echo "Arrêt de scodoc9..."
    systemctl stop scodoc9
-else
-   echo -n "Assurez-vous d'avoir arrété le serveur scodoc (validez pour continuer)"
-   read ans
 fi
 
 # Clear caches
@@ -103,7 +121,7 @@ su -c "createdb $DB_DEST" "$SCODOC_USER" || die "Erreur création db"
 
 if [ ! -z $KEEP_ENV ] ; then
    echo "conservation de la configuration actuelle"
-   cp "$SCODOC_VAR_DIR".old/.env "$SCODOC_VAR_DIR"/.env
+   cp "$SCODOC_VAR_OLD"/.env "$SCODOC_VAR_DIR"/.env
    echo "récupération des données..."
    su -c "pg_restore -f - $DB_DUMP | psql -q $DB_DEST" "$SCODOC_USER" >/dev/null || die "Erreur chargement/renommage de la base SQL"
    su -c "(cd $SCODOC_DIR && source venv/bin/activate && flask db upgrade)" "$SCODOC_USER"
@@ -119,5 +137,4 @@ else
    systemctl start scodoc9
 fi
 
-
 echo "Terminé."

From 6157e54a5f1817e96a82051fbd71ec8e13d1bf90 Mon Sep 17 00:00:00 2001
From: Emmanuel Viennet <emmanuel.viennet@gmail.com>
Date: Wed, 5 Jan 2022 16:06:56 +0100
Subject: [PATCH 4/5] affichage nom complet du dept. sur la page accueil

---
 app/forms/main/create_dept.py | 1 +
 app/models/departements.py    | 6 ++++--
 app/templates/scodoc.html     | 4 +++-
 app/views/scodoc.py           | 6 +++++-
 4 files changed, 13 insertions(+), 4 deletions(-)

diff --git a/app/forms/main/create_dept.py b/app/forms/main/create_dept.py
index d1e143be..cd053405 100644
--- a/app/forms/main/create_dept.py
+++ b/app/forms/main/create_dept.py
@@ -54,6 +54,7 @@ class CreateDeptForm(FlaskForm):
             validators.DataRequired("acronyme du département requis"),
         ],
     )
+    # description = StringField(label="Description")
     visible = BooleanField(
         "Visible sur page d'accueil",
         default=True,
diff --git a/app/models/departements.py b/app/models/departements.py
index d83ccfc2..1e6b5a1f 100644
--- a/app/models/departements.py
+++ b/app/models/departements.py
@@ -12,8 +12,10 @@ class Departement(db.Model):
     """Un département ScoDoc"""
 
     id = db.Column(db.Integer, primary_key=True)
-    acronym = db.Column(db.String(SHORT_STR_LEN), nullable=False, index=True)
-    description = db.Column(db.Text())
+    acronym = db.Column(
+        db.String(SHORT_STR_LEN), nullable=False, index=True
+    )  # ne change jamais, voir la pref. DeptName
+    description = db.Column(db.Text())  # pas utilisé par ScoDoc : voir DeptFullName
     date_creation = db.Column(db.DateTime(timezone=True), server_default=db.func.now())
     visible = db.Column(
         db.Boolean(), nullable=False, default=True, server_default="true"
diff --git a/app/templates/scodoc.html b/app/templates/scodoc.html
index 23667c24..d5e45300 100644
--- a/app/templates/scodoc.html
+++ b/app/templates/scodoc.html
@@ -16,7 +16,9 @@
     <li>
         <a class="stdlink {{'link_accessible' if current_user.has_permission(Permission.ScoView, dept=dept.acronym) else 'link_unauthorized'}}"
             href="{{url_for('scolar.index_html', scodoc_dept=dept.acronym)}}">Département
-            {{dept.preferences.filter_by(name="DeptName").first().value}}</a>
+            {{dept.preferences.filter_by(name="DeptName").first().value}}
+            {{ dept.preferences.filter_by( name="DeptFullName" ).first().value or "" }}
+        </a>
         {% if current_user.is_administrator() %}
             <span class="dept_visibility">
             {% if dept.visible %}visible{% else %}caché aux utilisateurs{% endif %}
diff --git a/app/views/scodoc.py b/app/views/scodoc.py
index 3e2fdbdc..a7aedaa8 100644
--- a/app/views/scodoc.py
+++ b/app/views/scodoc.py
@@ -107,7 +107,11 @@ def create_dept():
     if request.method == "POST" and form.cancel.data:  # cancel button
         return redirect(url_for("scodoc.index"))
     if form.validate_on_submit():
-        departements.create_dept(form.acronym.data, visible=form.visible.data)
+        departements.create_dept(
+            form.acronym.data,
+            visible=form.visible.data,
+            # description=form.description.data,
+        )
         flash(f"Département {form.acronym.data} créé.")
         return redirect(url_for("scodoc.index"))
     return render_template(

From db9acb67ddaa4f23dbe79d9458d156be30621547 Mon Sep 17 00:00:00 2001
From: Emmanuel Viennet <emmanuel.viennet@gmail.com>
Date: Wed, 5 Jan 2022 16:45:55 +0100
Subject: [PATCH 5/5] =?UTF-8?q?d=C3=A9tails=20bash?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit

---
 tools/restore_scodoc9_data.sh | 41 +++++++++++++++++++----------------
 1 file changed, 22 insertions(+), 19 deletions(-)

diff --git a/tools/restore_scodoc9_data.sh b/tools/restore_scodoc9_data.sh
index 50ca92b1..87f95a79 100755
--- a/tools/restore_scodoc9_data.sh
+++ b/tools/restore_scodoc9_data.sh
@@ -32,32 +32,35 @@ usage() {
 if (($# < 1 || $# > 2))
 then
   usage
-elif [ $# -eq 2 -a  $1 != '--keep-env' -a $2 != '--keep-env' ] ; then
+elif [ $# -eq 2 ] && [ "$1" != "--keep-env" ] && [ "$2" != "--keep-env" ]
+then
   usage
-elif [ $# -eq 1 ] ; then
+elif [ $# -eq 1 ]
+then
   echo "restauration des données et de la configuration originale (production)"
-  SRC=$1
+  SRC="$1"
   DB_DEST="SCODOC"
 else
   echo "restauration des données dans la configuration actuelle"
   DB_CURRENT=$(su -c "(cd $SCODOC_DIR && source venv/bin/activate && flask scodoc-database -n)")
   DB_DEST="$DB_CURRENT"
-  KEEP_ENV=Y
-  if [ $1 = '--keep-env' ]; then
-    SRC=$2
+  KEEP_ENV="Y"
+  if [ "$1" = "--keep-env" ]
+  then
+    SRC="$2"
   else
-    SRC=$1
+    SRC="$1"
   fi
 fi
 DB_DUMP="${SCODOC_VAR_DIR}"/SCODOC.dump
 
 # Safety check
-echo "Ce script va remplacer les donnees de votre installation ScoDoc par celles"
+echo "Ce script va remplacer les données de votre installation ScoDoc par celles"
 echo "enregistrées dans le fichier fourni."
-echo "Ce fichier doit avoir ete cree par le script save_scodoc9_data.sh."
+echo "Ce fichier doit avoir été créé par le script save_scodoc9_data.sh."
 echo 
 echo "Attention: TOUTES LES DONNEES DE CE SCODOC SERONT REMPLACEES !"
-echo "Notamment, tous les utilisateurs et departements existants seront effaces !"
+echo "Notamment, tous les utilisateurs et départements existants seront effacés !"
 echo
 echo "La base SQL $DB_CURRENT sera effacée et remplacée !!!"
 echo
@@ -65,27 +68,27 @@ echo
 SCODOC_VAR_OLD=${SCODOC_VAR_DIR}.old
 if [ -e "$SCODOC_VAR_DIR" ] && [ -e "$SCODOC_VAR_OLD" ]
 then
-  echo "une ancienne sauvegarde ('$SCODOC_VAR_OLD' en date du $(stat -c %w $SCODOC_VAR_OLD) ) va être effacée."
+  echo "Une ancienne sauvegarde (\"$SCODOC_VAR_OLD\" en date du $(stat -c %w "$SCODOC_VAR_OLD") ) va être effacée."
   echo
 fi
-if [ ! -z $KEEP_ENV ]
+if [ -n "$KEEP_ENV" ]
 then
-   echo -n "restauration des données sans changement de configuration: Assurez-vous d'avoir arrété le serveur scodoc."
+   echo -n "Restauration des données sans changement de configuration: Assurez-vous d'avoir arrêté le serveur scodoc."
    echo
 fi
 
-echo -n "Voulez vous poursuivre la restauration ? (y/n) [n]"
+echo -n "Voulez-vous poursuivre la restauration ? (y/n) [n]"
 read -r ans
-if [ ! "$(norm_ans "$ans")" = 'Y' ]
+if [ ! "$(norm_ans "$ans")" = "Y" ]
 then
    echo "Annulation de la restauration par l\'utilisateur"
    exit 1
 fi
 
-rm -rf $SCODOC_VAR_OLD || die "Erreur suppression $SCODOC_VAR_OLD"
+rm -rf "$SCODOC_VAR_OLD" || die "Erreur suppression $SCODOC_VAR_OLD"
 
 # -- Stop ScoDoc
-if [ -z $KEEP_ENV ]
+if [ -z "$KEEP_ENV" ]
 then
    echo "Arrêt de scodoc9..."
    systemctl stop scodoc9
@@ -104,7 +107,7 @@ fi
 
 # -- Ouverture archive
 echo "Ouverture archive $SRC..."
-(cd $(dirname "$SCODOC_VAR_DIR"); tar xfz "$SRC") || die "Error opening archive"
+(cd "$(dirname "$SCODOC_VAR_DIR")"; tar xfz "$SRC") || die "Error opening archive"
 
 # -- Ckeck/fix owner
 echo "Vérification du propriétaire..."
@@ -121,7 +124,7 @@ su -c "createdb $DB_DEST" "$SCODOC_USER" || die "Erreur création db"
 
 if [ ! -z $KEEP_ENV ] ; then
    echo "conservation de la configuration actuelle"
-   cp "$SCODOC_VAR_OLD"/.env "$SCODOC_VAR_DIR"/.env
+   cp -p "$SCODOC_VAR_OLD"/.env "$SCODOC_VAR_DIR"/.env
    echo "récupération des données..."
    su -c "pg_restore -f - $DB_DUMP | psql -q $DB_DEST" "$SCODOC_USER" >/dev/null || die "Erreur chargement/renommage de la base SQL"
    su -c "(cd $SCODOC_DIR && source venv/bin/activate && flask db upgrade)" "$SCODOC_USER"