forked from ScoDoc/DocScoDoc
380 lines
12 KiB
Markdown
380 lines
12 KiB
Markdown
# Documentation pour les développeurs ScoDoc
|
||
|
||
|
||
Informations pour les développeurs souhaitant étendre ou modifier ScoDoc.
|
||
|
||
## Informations générales
|
||
|
||
* S'abonner aux [listes de diffusion](ListesDeDiffusion.md). Il y a aussi
|
||
un serveur Discord ouvert sur invitation aux développeur actifs. Contacter Emmanuel.
|
||
* [Générer de nouveaux formats de bulletins PDF](ApiGenerationBulletinsPdf.md)
|
||
* [Créer de nouveaux types de "parcours"](ApiCreationParcours.md)
|
||
* [API](ScoDoc9API.md) : API JSON ou XML pour interfaçage avec d'autres applications
|
||
* Notes diverses
|
||
* [Discussions pour la future gestion des absences](IdeesGestionAbsences.md)
|
||
* [Anciennes discussions sur la gestion des plannings](IdeesGestionPlannings.md)
|
||
|
||
|
||
## Développer sur ScoDoc
|
||
|
||
Quelques conseils, indications et mémos pour les développeurs sur ScoDoc version 9.
|
||
|
||
### Installation d'un serveur de développement
|
||
[Quelques conseils mouvants pour configurer votre serveur de développement](ConseilServeurDev.md)
|
||
|
||
### Style et formatage du code
|
||
L'ancienneté de la base de code a rendu le style un peu incohérent, mais cela
|
||
s'est amélioré avec ScoDoc 9 (respect PEP 8).
|
||
|
||
Le code doit être formatté avec [`black`](https://black.readthedocs.io/) avant
|
||
tout commit (configurez votre éditeur pour appeler `black` à l'enregistrement).
|
||
|
||
#### Documentation
|
||
On adoptera le style "Google": <https://google.github.io/styleguide/pyguide.html#383-functions-and-methods>
|
||
|
||
Exemple:
|
||
"""Description résumée de la fonction
|
||
|
||
blah blah sur la fonction
|
||
|
||
Args:
|
||
table_handle: An open smalltable.Table instance.
|
||
keys: A sequence of strings representing the key of each table
|
||
row to fetch. String keys will be UTF-8 encoded.
|
||
require_all_keys: Optional; If require_all_keys is True only
|
||
rows with values set for all keys will be returned.
|
||
|
||
Returns:
|
||
A dict mapping keys to the corresponding table row data
|
||
fetched. Each row is represented as a tuple of strings. For
|
||
example:
|
||
|
||
{b'Serak': ('Rigel VII', 'Preparer'),
|
||
b'Zim': ('Irk', 'Invader'),
|
||
b'Lrrr': ('Omicron Persei 8', 'Emperor')}
|
||
"""
|
||
|
||
### Git
|
||
|
||
Le dépôt est <https://scodoc.org/git/viennet/ScoDoc>
|
||
|
||
La branche `master` est celle de ScoDoc 9. La branche `Scodoc7` est l'ancienne
|
||
(jusqu'à septembre 2021) version en production.
|
||
|
||
Ci-dessous quelques pense-bête qui peuvent servir.
|
||
#### Hot fixes (internes)
|
||
|
||
Pour les développeurs internes (écriture sur le dépôt master), un exemple
|
||
basique:
|
||
|
||
# Créer une branche
|
||
# si besoin (travail en cours), utiliser git stash avant
|
||
git checkout master
|
||
git branch hotfix
|
||
git checkout hotfix
|
||
... dev, test ...
|
||
git add ...
|
||
git commit -m "fixed ..."
|
||
git checkout master
|
||
git merge hotfix
|
||
git branch -d hotfix
|
||
# publication
|
||
|
||
# éventuellement: git stash pop
|
||
|
||
#### Mettre à jour votre branche
|
||
|
||
Vous travaillez dans votre branche `ma_branche`. Pour lui appliquer les mises à
|
||
jour de `master` (remote):
|
||
```bash
|
||
git pull origin master
|
||
```
|
||
|
||
#### Commandes utiles, en vrac
|
||
|
||
* `git log -L:fonction_python:fichier.py`
|
||
* Commits locaux: `git log @{u}..`
|
||
|
||
#### Refactoring
|
||
|
||
Lint tous les fichiers modifiés:
|
||
```bash
|
||
git status | grep modified | grep .py | awk '{print $2}' | xargs pylint -E
|
||
```
|
||
Restore les modes au besoin (SAMBA les changent parfois):
|
||
```bash
|
||
git diff -p -R --no-color | grep -E "^(diff|(old|new) mode)" --color=never | git apply
|
||
```
|
||
Affiche les variables non définies dans un fichier:
|
||
```bash
|
||
pylint --disable=all -e E sco_parcours_dut.py | grep undefined-variable | awk '{print $4;}' | sort | uniq | tr -d \'
|
||
```
|
||
Prépare un sed pour renommer les variables non définies:
|
||
```bash
|
||
for f in *.py
|
||
do
|
||
pylint --disable=all -e E "$f" | grep undefined-variable | awk '{print "sed -i .bak s/"$4"/scu."$4"/ '$f'";}' | sort | uniq | tr -d \'
|
||
done
|
||
```
|
||
|
||
Note pour travailler sur VirtualBox:
|
||
|
||
addgroup scodoc vboxsf
|
||
|
||
### Préparation d'une PR (Pull Request)
|
||
|
||
#### Principes généraux
|
||
|
||
Les remarques de cette section visent à obtenir une relecture facile de votre
|
||
demande d'ajout (*pull request*, dite "PR"):
|
||
|
||
* Éviter les modifications de forme qui ne changent pas le sens du code. L'utilisation de
|
||
[`black`](https://black.readthedocs.io/) est obligatoire: elle de normaliser la présentation
|
||
du code. cela évite d'e générer des différences ne représentant que des
|
||
changement de mise en forme (indentation, passages à la ligne). Cela évite
|
||
aussi au développeur d'avoir à y réfléchir, autant de temps gagné !
|
||
|
||
* Avoir un nombre d'étapes de validation faible (idéalement un seul commit pour
|
||
les PR courantes (peu volumineuses).
|
||
|
||
* La PR doit toujours être énoncée par rapport au dernier commit de la branche
|
||
que vous visez (en général `master` du dépôt original).
|
||
|
||
#### Manipulations
|
||
|
||
Les manipulations sont décrites selon 4 phases du développement: l'installation,
|
||
la mise en place, le suivi, la livraison.
|
||
|
||
##### l'installation
|
||
Il est pratique d'avoir en ligne les deux dépôt git distant que vous pouvez
|
||
utiliser: votre dépôt personnel (`https://scodoc.org/git/<user>/<dépôt>.git`) et
|
||
le dépôt officiel (`https://scodoc.org/git/ScoDoc/ScoDoc.git`).
|
||
|
||
pour ajouter une référence (et lui donner un nom) vers un dépôt distant, entrez
|
||
la commande:
|
||
|
||
```bash
|
||
git remote add nom_remote https://scodoc.org/git/ScoDoc/<dépôt>.git
|
||
```
|
||
|
||
Par la suite vous aurez donc une référence vers votre dépôt personnel (`perso`)
|
||
et une référence vers le dépôt officiel (`officiel`). Si vous avez initialement
|
||
cloné l'un des deux dépôts, la référence vers celui-ci existe et a pour nom
|
||
`origin`.
|
||
|
||
La commande vous exposant tous les dépôts connus est :
|
||
```bash
|
||
git remote -v
|
||
```
|
||
|
||
#### Mise en place
|
||
|
||
L'objectif de ce paragraphe est de créer une branche locale basée sur le master
|
||
du dépôt officiel et bien sur de lui donner un nom.
|
||
|
||
pour cela (attention cela va écraser les éventuels fichiers modifiés) :
|
||
|
||
```bash
|
||
git reset --hard officiel/master
|
||
git checkout -b ma_modif
|
||
```
|
||
À partir de là vous pouvez modifier, tester, développer, commit.
|
||
|
||
#### Suivi
|
||
|
||
Si votre développement prend plusieurs jours, il est probable que la branche
|
||
principale évolue pendant ce temps.
|
||
|
||
Pour garder la cohérence, il est nécessaire de réintégrer en local les
|
||
modifications de la branche principale. Ceci peut se faire de deux façons.
|
||
|
||
- Une fusion (`merge`) applique toutes les modifications en une seul commit).
|
||
C'est la méthode couramment utilisée.
|
||
|
||
- Un `rebase` rejoue tous les commits de la nouvelle branche par dessus l'état
|
||
le plus à jour de la branche principal (il en résulte un historique plus
|
||
linéaire).
|
||
|
||
Les commandes git correspondantes :
|
||
|
||
```bash
|
||
git fetch officiel
|
||
git merge officiel/master
|
||
```
|
||
ou
|
||
```bash
|
||
git fetch officiel
|
||
git rebase officiel/merge
|
||
```
|
||
|
||
#### La livraison
|
||
|
||
Ça y est. vous avez terminé le développement. IL n'y a plus qu'à demander
|
||
l'intégration. Ceci se fait en plusieurs étapes (vous êtes bien sûr toujours sur
|
||
la branche locale `ma_modif`).
|
||
|
||
##### Étape 1 : faire l'inventaire des fichiers impliqués
|
||
|
||
```bash
|
||
git fetch officiel/master
|
||
git diff --name-only officiel/master
|
||
```
|
||
|
||
##### Étape 2 : passer black sur les fichiers modifiés
|
||
|
||
Cette étape est automatique avec les bons réglages sous VSCode (pas trouvé
|
||
l'équivalent sous *pyCharm*).
|
||
|
||
À défaut les lignes suivantes réalisent le même travail :
|
||
|
||
```bash
|
||
for fn in $(git diff --name-only officiel/master)
|
||
do
|
||
python3 -m black $fn
|
||
done
|
||
```
|
||
faire une première lecture rapide pour vérifier qu'il n'y ait pas de fichiers
|
||
modifiés accidentellement.
|
||
|
||
Pour obtenir la modification sur un fichier spécifique (`app/fichier.py` par exemple)
|
||
```bash
|
||
git diff officiel/master app/fichier.py
|
||
```
|
||
|
||
Utilisateurs Windows: Vérifiez bien que les réglages de fin de ligne suivant
|
||
bien les règles Linux (pas de CR ou `\r` en fin de ligne juste les LF `\n`). Le
|
||
cas échéant réglez votre IDE pour cela.
|
||
|
||
À ce niveau là vous n'avez dans votre branche locales que les différences
|
||
nécessaires à votre correctif.
|
||
|
||
##### Étape 3: résumez tous les commits depuis le point de divergence en un seul commit
|
||
|
||
Repérez le point de divergence de votre branche locale avec officiel/master
|
||
(normalement `git merge-base ma_branche officiel/master`)
|
||
|
||
Demander un `rebase` interactif depuis ce point :
|
||
|
||
```bash
|
||
git rebase -i $(git merge-base HEAD officiel/master)
|
||
```
|
||
|
||
Vous devez obtenir dans un éditeur de texte la liste des commits opéré depuis le
|
||
début du développement sous cette forme (c'est un exemple le nombre de lignes
|
||
peut varier) :
|
||
|
||
```bash
|
||
pick eb8cbec modif 1
|
||
pick 83eb79e modif 2
|
||
|
||
# Rebase 5ffd074..83eb79e onto 5ffd074 (2 commands)
|
||
#
|
||
# Commands:
|
||
# p, pick <commit> = use commit
|
||
# r, reword <commit> = use commit, but edit the commit message
|
||
# e, edit <commit> = use commit, but stop for amending
|
||
# s, squash <commit> = use commit, but meld into previous commit
|
||
# f, fixup [-C | -c] <commit> = like "squash" but keep only the previous
|
||
# commit's log message, unless -C is used, in which case
|
||
# keep only this commit's message; -c is same as -C but
|
||
# opens the editor
|
||
# x, exec <command> = run command (the rest of the line) using shell
|
||
# b, break = stop here (continue rebase later with 'git rebase --continue')
|
||
# d, drop <commit> = remove commit
|
||
# l, label <label> = label current HEAD with a name
|
||
# t, reset <label> = reset HEAD to a label
|
||
# m, merge [-C <commit> | -c <commit>] <label> [# <oneline>]
|
||
# . create a merge commit using the original merge commit's
|
||
# . message (or the oneline, if no original merge commit was
|
||
# . specified); use -c <commit> to reword the commit message
|
||
#
|
||
# These lines can be re-ordered; they are executed from top to bottom.
|
||
#
|
||
# If you remove a line here THAT COMMIT WILL BE LOST.
|
||
#
|
||
# However, if you remove everything, the rebase will be aborted.
|
||
#
|
||
~
|
||
```
|
||
|
||
Vous pouvez réorganiser tous les commits (changer l'ordre, fusionner) en
|
||
changeant la commande pick au début de chaque ligne. L'idée ici est de fusionner
|
||
toutes les lignes avec la première en remplaçant le 'pick' à partir de la ligne
|
||
2 par `fixup`. Optionnellement, vous pouvez reformuler le message de commit
|
||
(commande `reword` sur la première ligne).
|
||
|
||
Vous construirez par exemple:
|
||
```bash
|
||
reword eb8cbec Correctif: Api - gestion des formation
|
||
fixup 83eb79e modif 2
|
||
...
|
||
```
|
||
|
||
Quand vous sortez de l'éditeur, git effectue toutes les opérations demandées.
|
||
|
||
À ce niveau là de la procédure :
|
||
|
||
* vous avez un seul commit pour l'ensemble du correctif proposé;
|
||
|
||
* toutes les différences entre officiel/master et votre branche locale sont
|
||
signifiantes.
|
||
|
||
##### Étape 4:
|
||
Vous pouvez maintenant pousser votre branche locale sur votre dépôt personnel
|
||
(vers une branche de même nom):
|
||
|
||
```bash
|
||
git push --set-upstream perso ma_branche
|
||
```
|
||
|
||
Si vous avez déjà fait cette opération auparavant il est possible que le push
|
||
soit refusé (car le rebase a modifié des commits qui avaient déjà été poussés).
|
||
Dans ce cas l'option `--force` du push vous permette de passer outre, mais
|
||
assurez-vous avant d'être le seul à travailler sur cette branche.
|
||
|
||
##### Etape 5: La dernière étape se passe sur le site scodoc.org/git
|
||
|
||
* Identifiez-vous
|
||
|
||
* Placez-vous sur la branche nouvellement créée
|
||
|
||
* À l'aide de l'interface du serveur vous pouvez comparer l'état de votre
|
||
branche par rapport au master officiel, et si cela vous convient de formuler
|
||
une demande d'intégration (pull request).
|
||
|
||
### Tests et tests unitaires
|
||
|
||
Voir [TestsScoDoc](TestsScoDoc.md)
|
||
|
||
## Cache Redis
|
||
|
||
Certains objets couteux à calculer sont cachés. Depuis ScoDoc 9, on utilise
|
||
Redis, via `flask-caching`.
|
||
|
||
Au besoin, mémo:
|
||
|
||
- client ligne de commande: `https://redis.io/topics/rediscli`
|
||
|
||
- afficher les clés: `redis-cli KEYS '*'`
|
||
|
||
- `redis-cli TTL key` affiche le TTL d'un clé, -1 si infini.
|
||
|
||
- `redis-cli -r -1 -i 3 KEYS '*_NT_*'` surveille certaines clés (ici _NT_),
|
||
affiche toutes les 3 secondes.
|
||
|
||
- `flask clear-cache` efface le cache Redis.
|
||
|
||
|
||
## Roadmap
|
||
Sujets **prioritaires** en 2021:
|
||
|
||
- Modernisation du code: Flask, Python 3: achevé août 2021.
|
||
|
||
- Prise en compte du Bachelor (BUT): SAÉ, suivi compétences, validations des
|
||
blocs, UE, semestres selon la cadrage et l'arrêté Licence Pro 2020.
|
||
|
||
- Redéfinition API et interface mobile simplifiée.
|
||
|
||
Autres sujets:
|
||
- [voir les tickets](https://scodoc.org/git/viennet/ScoDoc/issues)
|