Package: pss-marta-danilo
## Componenti del gruppoDanilo Fumagalli, mat 830683Marta Pelusi, mat 800444Link al repository GitLab:https://gitlab.com/assignment1_pelusi_fumagalli/2020_assignment1_a1_gruppo/-/tree/master## IntroduzioneSi vuole implementare una pipeline con GitLab per una applicazione scritta in lunguaggio Python che utilizza le seguenti librerie:​       - matplotlib​       - numpy​       - MySQLdbL’applicazione vuole creare effetti di colore da immagini estratte da un database mySQL.## Come funzionaQuesto è un progetto strutturato in più script:​       - media.py​       - scambia.py​       - main.py[media.py](https://gitlab.com/Bakedsloth/2020_assignment1_a1/-/blob/develop/media.py) è composto da una funzioneget_mediache prende in input un’immagine e restituisce un array 1x3 delle medie del colore nei tre canali colore RGB dell’immagine in input.[scambia.py](https://gitlab.com/Bakedsloth/2020_assignment1_a1/-/blob/develop/scambia.py) è composto da una funzionescambiache prende in input un’immagine e un interopose, in base al valore di pos, scambia tra loro due canali colore restituendo l’immagine modificata.l’interoposcorrisponde alla posizione (nell’array restituito dallo script media.py) della media colore che ha il valore più alto.media.py e scambia.py sono due script che possono essere eseguiti indipendentemente tra loro.[main.py](https://gitlab.com/Bakedsloth/2020_assignment1_a1/-/blob/develop/main.py) è lo script che unisce l’operato degli altri due script.L’altro componente dell’applicazione è un database mySQL composto da 5 righe e 4 colonne.Le quattro colonne sono rappresentative dell’id, del nome, dell’estensione e del percorso di 5 immagini.Le immagini sono contenute in una cartella chiamataimmaginiall’interno del repository GitLab.Il database è popolato attraverso un file csv chiamato metadata.csv, anch’esso all’interno del repository GitLab.## Assunzioni realizzazione della pipelineIl file [.gitlab-ci.yml](https://gitlab.com/Bakedsloth/2020_assignment1_a1/-/blob/develop/.gitlab-ci.yml) contiene la nostra pipeline.Abbiamo scelto di non imporre una versione precisa di Python, ma usare l’ultima versione installata.Come servizi abbiamo scelto di utilizzare l’ultima versione di mySQL per connetterci al nostro database.Abbiamo creato diverse variabili MYSQL username e password al fine di poterci connettere al nostro database, e altre variabili PYPI username e password per connetterci a PyPi. Tali variabili sono inserite anche come variabili d’ambiente in GitLab.Salviamo i moduli nella cache per risparmiare tempo nelle esecuzioni successive.Prima di eseguire lo script installiamo virtualenv e creiamo e attiviamo un ambiente virtuale che abbiamo nominato venv.Gli stages che andiamo ad eseguire sono:Nello stageverifyutilizziamo le librerie prospector e bandit per individuare eventuali errori nello script main, in quanto esso è quello che mette insieme i vari script richiamandoli, come spiegato sopra.Nello stageunit-testutilizziamo la libreria pytest per eseguire i test all’interno dello script [test_unit.py](https://gitlab.com/Bakedsloth/2020_assignment1_a1/-/blob/develop/test_unit.py). Questo script testa il corretto funzionamento degli script media.py e scambia.py facendo delle prove: nel caso di media.py viene testata una proprietà specifica del calcolo della media aritmetica, mentre nel caso di scambia.py viene verificato se scambiando canali colore due volte l’immagine resta la stessa in quanto lo scambio è commutativo.Nello stageintegration-testutilizziamo la libreria pytest per verificare che viene eseguita correttamente la connessione tra applicazione e database. Abbiamo scelto di utilizzare un nostro database in locale come secondo componente della nostra applicazione, ma per fare l’integration-test abbiamo utilizzato la funzione mySQL che offre gitlab e, attraverso lo script [popola_db.py](https://gitlab.com/assignment1_pelusi_fumagalli/2020_assignment1_a1_gruppo/-/blob/master/pss-marta-danilo/popola_db.py), abbiamo popolato il database su gitlab e lo abbiamo testato insieme allo script di test [test_integration.py](https://gitlab.com/assignment1_pelusi_fumagalli/2020_assignment1_a1_gruppo/-/blob/master/pss-marta-danilo/test_integration.py).Nello stagepackageinstalliamo ed utilizziamo le librerie setuptools wheel e, attraverso il file setup.py, creiamo un package in cui sono contenuti i nostri file di progetto. Nel file [setup.py](https://gitlab.com/assignment1_pelusi_fumagalli/2020_assignment1_a1_gruppo/-/blob/master/setup.py) precisiamo il nome del package che stiamo creando (nel nostro caso“pss_marta_danilo”), la versione, l’autore, una descrizione d’esempio, una licenza, nelle parole chiave d’esempio, l’url del nostro progetto e includiamo anche il file README.md.Nello stagereleaseinstalliamo ed utilizziamo la libreria twine al fine di caricare sulla pagina del nostro account PyPi il package contenente il nostro progetto GitLab. Per accedervi utilizziamo le variabili contenti username e password precisate nell’elenco variabili in cima al file .gitlab-ci.yml.Nello stagedeployabbiamo scelto di eseguire i comandi da debian per comodità in quanto ci permette di installare senza problemi ssh-agent, avendo ssh già installato.
Quindi, in questo stage modifichiamo i permessi della chiave privata per la connessione ssh e installiamo ssh-agent (se non è già installato) e successivamente aggiungiamo la chiave primata a ssh-agent. A questo punto con l’opzioneStrictHostCheckinga no creiamo un file di configurazione e ci connettiamo tramite ssh alla Virtual Machine. Sulla VM, poi, vengono eseguiti i comandi situati all’interno divm_comands.sh, che sono:​               - scaricare l’ultima versione del nostro progetto​               - spostarsi all’interno della directory in cui è situato il progetto appena scaricato​               - eseguire lo script main.py## Note a marginePer fare questo progetto abbiamo creato diversi repository GitLab a causa dei minuti di pipeline che non ci sono bastati.
Parte dei commit, quindi, non si trovano sul repository linkato in cima a questo README, ma sono in altri repository, che per completezza vi linkiamo:-https://gitlab.com/Bakedsloth/2020_assignment1_a1/-/tree/develop-https://gitlab.com/Marta629/pss_ass1/-/tree/developRibadiamo, comunque, che il repository che consegnamo è <u>solo</u> quello indicato in cima a questo file README.