# Introduzione all'analisi testuale con Constellate

Deborah Grbac

Biblioteca d'Ateneo di Milano

MEPIN, anno accademico 2024-2025
# Sommario

* Definizioni preliminari

* Alcune premesse metodologiche e competenze tecniche necessarie

* Applicazioni ed utilizzi dell'analisi testuale in Biblioteca

* La piattaforma di introduzione all'analisi testuale Constellate
* *Distant Reading, Text Data Science, Téxtométrie, Text and Data Mining, Computational Text Analysis, NLP (Natural Language Processing), ...*

* *Padre Roberto Busa S.I., Harold D. Lasswell, Jean-Paul Bezéncri, Noam Chomsky, ... gli autori del paper «BERT, Bidirectional Encoder Representations from Transformer», del 2019, uno dei «modelli di linguaggio» utilizzati da interfacce utenti (o software relazionali) come ad esempio ChatGPT.*

* *Informatica, linguistica computazionale, sociologia, politologia, economia e sempre più le materie umanistiche «Digital Humanities» (storia, letteratura, ...).*

**Definizione:**

si tratta di **tecniche**, in continua evoluzione, utilizzate per «**estrarre**» **informazioni** da collezioni di testi, attraverso l'uso di metodi quantitativi di natura statistica e diversi **strumenti computazionali** volti all'**elaborazione automatica dei testi**, mutate dalla linguistica computazionale, condivise in diversi ambiti disciplinari ed utilizzate per finalità diverse.**

**Diffusione:**

la disponibilità di grandi quantitativi di data («*Big Data*») ha consentito l'**espandersi di metodologie di ricerca data-driven**, ovvero condotte dai dati. La disponibilità di **testi in formato digitale** ha permesso lo sviluppo dell'analisi testuale.

*In inglese NLP (*Natural Language Processing*), in Ježek Elizabeth, Sprugnoli Rachele «Linguistica computazionale. Introduzione all'analisi automatica dei testi», Milano, Il Mulino, 2023, p. 17.

**Finalità della linguistica computazionale è l'indagine dei testi, le altre discipline utilizzano l'analisi testuale per l'interpretazione dei testi. A cura di Fabio Ciotti "Digital Humanities. Metodi, strumenti, saperi", Carocci editore, Collana Studi superiori, n. 1376, Teoria della letteratura e critica letteraria, Roma, 2023, p. 91.**
# Alcune considerazioni e premesse metodologiche

## Considerazioni

* Le parole possono essere sia **dati testuali**, che **dati numerici** (per mezzo della loro trasformazione attraverso le tecniche di analisi testuale da parole in misure lessicometriche, misure statistiche che «pesano» delle parole).

* Attraverso l'analisi testuale si può passare dalle parole ai dati e viceversa.*

* Maggiore è il numero di dati a disposizione, migliori saranno i risultati delle **analisi di tipo statistico**.

* L'OCR (**Optical Character Recognition**) trasforma i testi dal formato cartaceo a quello digitale.

## Premesse

* **Digital Literacy**, una competenza in ambito digitale, **Data [Information] Literacy**, una conoscenza dei dati, della loro natura, **Data Curation** una competenza nelle buone prassi di trattamento, ovvero del **[Research] Data Cycle**: pulizia, analisi, conservazione, riutilizzo, comunicazione e condivisione dei dati della ricerca, ovvero dei risultati delle elaborazioni effettuate, ...

* **Computational thinking**, ovvero una conoscenza sul funzionamento delle modalità «automatiche» di trattamento ed analisi dei dati e capacità di interpretarne i risultati.

* Disponibilità ad apprendere un **linguaggio informatico di programmazione** per adattare alle proprie esigenze le analisi (ad esempio imparare **Python**)

* Dimestichezza con gli **ambienti digitali di condivisione delle informazioni**: **communities**, repository collaborativi, contenenti linee di comando («script») e altre informazioni sul loro possibile utilizzo (ad esempio: **GitHub**, **Hugging Face**, **Stack Overflow**).

<footnote>*Tuzzi, Arjuna «L'analisi del contenuto: introduzione ai metodi e alle tecniche di ricerca», Roma, Carocci, 2003</footnote>
# Altre conoscenze tecniche necessarie

Altre **alfabetizzazioni**, in continua evoluzione come la: «*Computational literacy*», l'«*Artificial Intelligence literacy*», ...

Le tecnologie abilitanti, la maggiore capacità dei computer, lo sviluppo di spazi computazionali messi a disposizione in cloud (su di un server), implicano la possibilità per tutti di gestire autonomamente l'informazione. Quella che una volta era chiamata semplicemente *Computer literacy*,\* ovvero la capacità di utilizzare un computer, adesso si è evoluta, non basta più conoscere come funziona il software, le componenti dell'hardware, ma anche come programmare per poter utilizzare le nuove tecnologie sulla rete.

La gestione dei dati richiede anche:

- una **metodologia scientifica di settore** necessaria per l'interpretazione dei dati e il loro utilizzo, naturalmente questa varia a seconda della materia e in base all'adozione o meno di tecniche di analisi dei dati,

- la conoscenza e il rispetto del **diritto d'autore** sia per l'accesso legale ai testi che per il riutilizzo dei dati:

- L'eccezione al diritto d'autore per il TDM (*Text and Data Mining*), riconosciuta a livello internazionale che ha come premessa l'accesso legale ai testi.

- I risultati della ricerca effettuata attraverso il TDM e solo questi e non i testi utilizzati possono essere condivisi e riutilizzati in base ai principi FAIR (*Findable, Accessible, Interoperable and Reusable*).

<footnote>\*Negli anni ottanta del secolo scorso, uno dei pionieri dell'Intelligenza artificiale Roger Schank sosteneva che programmare non fosse necessario per gli utilizzatori dei computer, oggi la programmazione fa parte delle abilità richieste anche grazie all'evoluzione dei linguaggi di programmazione. Cfr. «Computer literacy», pp. 4-6, in Schank, Roger, C. (with Peter Childers) "The cognitive computer. On language, learning and artificial intelligence", Addison-Wesley Publishing Co., Inc., Reading, 1984.</footnote>
# Applicazioni dell'analisi testuale computazionale

Le principali operazioni effettuate sui dati testuali attraverso l'analisi automatica del linguaggio*:

**Il recupero dell'Informazione (Information Retrieval): Ricerca su dati strutturati:** a ricerca sui metadati (autore, titolo, casa editrice, ... effettuata attraverso gli indici), di solito su un Catalogo di Biblioteca, oppure la ricerca per parole chiave negli abstract e nei testi qualora disponibili. La tipica ricerca bibliografica.

**L'estrazione dell'informazione (Information Extraction): Ricerca su dati non strutturati:** il recupero dei contenuti del testo per mezzo di alcune tecniche. Come ad esempio l'individuazione delle parole più frequenti, dei termini più significativi (in proporzione all'insieme dei testi, TF-IDF), oppure attraverso aggregazioni di vocaboli presenti nel testo e loro classificazione (« *Topic Modeling*»). Il TDM, il Text and Data Mining.

Nel caso dell'estrazione dell'informazione alcuni autori parlano anche di « *Textual Retrieval*», ovvero dell' *Information Retrieval* sui testi al fine di estrarre informazioni dai testi e procedere alla loro interpretazione attraverso delle visualizzazioni di dati.**

« *Data visualization*», viene definita come una attività che permette di arricchire l'esperienza di fruizione dei contenuti per mezzo di elaborazioni grafiche fondate su approcci statistici ed elaborata attraverso strumenti computazionali.***

*Chiamate *tasks* in inglese.

**Tomasi, Francesca “Organizzare la conoscenza. Digital Humanities e Web semantico. Un percorso tra archivi, biblioteche e musei”, Milano, Editrice bibliografica, 2022, citazione p. 140.

*** Ciotti, Fabio (a cura di) “Digital Humanities. Metodi, strumenti, saperi”, Collana Studi superiori, n. 1376, Teoria della letteratura e critica letteraria, Roma, Carocci editore, 2023, p. 47.
# Altri utilizzi dell'analisi testuale*

**Concordanze:** estrazione della parola ricercata nel testo e visualizzazione della sua presenza nel contesto (finestra di testo) in un dato testo. Tradizionalmente le concordanze erano proposte come elenco delle occorrenze per ordine alfabetico.

**Collocazione:** estrazione di due parole congiuntamente ricorrenti in un testo e loro visualizzazione nel contesto (finestra di testo).

**Sentiment Analysis:** estrazione delle emozioni presenti in un testo sulla base di una classificazione positiva, negativa o neutra dei vocaboli,

**Named Entity Recognition:** estrazione di nomi di luoghi, di persone, di società, date da determinati testi in base a delle regole, delle espressioni ricorrenti (*regular expressions*), oppure dei modelli di linguaggio.

**Significant terms:** individuazione all'interno di una collezione di testi delle parole più significative (*TF-IDF*).

**Stylometrics:** riconoscimento dell'autore di testi anonimi sulla base dello stile di scrittura (*ngrams*, vocabolario, punteggiatura, ...).

**Supervised Machine Learning:** classificazione automatica dei testi e la loro attribuzione ad una categoria, attraverso metodi statistici supervisionati, ovvero con etichettatura ed attribuzione da parte di esperti e la conseguente applicazione automatica sull'intero *corpus* da parte delle macchine (*Machine Learning*)

**Unsupervised Machine Learning:** classificazione automatica dei testi fatta in assenza di supervisione umana, attraverso l'uso di algoritmi, ovvero dei calcoli statistici (*Topic Modelling*)

**Language models:** utilizzo di reti neurali per effettuare calcoli diretti a svolgere diverse mansioni, come prevedere la parola successiva in una frase, rispondere a delle domande, creare dei riassunti, classificare testi in modo automatico.

**RAG, Augmented Retrieval:** utilizzo di LLMs (*Large Language Models*) e database di vettori (rappresentazioni di parole in uno spazio pluridimensionale attraverso dei vettori) che consentono di recuperare informazioni in una modalità e in un ambito disciplinare specifico.

<footnote>*Elenco non esaustivo e in continua evoluzione.</footnote>
# La piattaforma di introduzione dell'analisi testuale Constellate

Constellate è una piattaforma multifunzionale sviluppata per rispondere a diverse finalità:

apprendere, insegnare, eseguire e sviluppare tecniche di analisi testuale in un ambiente digitale, il Constellate Lab, sia seguendo
corsi online o visionandone le registrazioni in modo autonomo.

Il **Constellate Lab** è un ambiente computazionale interattivo gestito in cloud, in grado di contenere e supportare dati dei file di
lavoro chiamati Jupyter notebook.

**L'ambiente di sviluppo Jupyter** è un'interfaccia che consente di scrivere istruzioni ed indicazioni, insieme a blocchi logici di codice sorgente eseguibili in linguaggio Python (linguaggio di programmazione), l'estensione dei file di lavoro è: «.ipynb».

L'ambiente offerto è in continua evoluzione, è ora possibile accedere anche all'ambiente integrato Rstudio e lavorare con il software
di analisi statistica «R», i cui file hanno estensione: «.r» oppure «.rmd».

L'ambiente di lavoro del Constellate Lab offre **8 GB** di archiviazione di file e notebook e di condivisione degli stessi con altri utenti
tramite la funzione **Snapshot** (1 GB).

La funzione **Dataset Builder** permette di utilizzare le risorse testuali presenti nel database Jstor Archive ed alcuni altri repository ad
accesso aperto per poter costruire dataset con dati già formattati per le analisi contenute nei notebook pre-compilati.

La funzione **Upload** consente di caricare nello spazio di lavoro del Lab collezioni di testi esterni che, se formattati in base alle
esigenze della piattaforma, possono essere sottoposti alle stesse analisi effettuabili sui dati Jstor Archive.
# Constellate offre diversi servizi in un'unica piattaforma

Un pacchetto **formativo** di lezioni di introduzione all'analisi testuale, i cui contenuti sono in continua evoluzione, che sono tenuti dai formatori di Constellate.

Corsi di base ed intermedi di Python, un linguaggio di programmazione «Object oriented», ovvero che crea delle «classi» personalizzate che permettono di definire oggetti particolari (un insieme di comandi, determinati dataset, specifiche funzioni e metodi, ...), nelle quali la lavorazione avviene in modo automatico.

Sempre nuovi approfondimenti tematici attraverso webinar tenuti durante l'anno e una sessione estiva di corsi tenuta da docenti esterni a Constellate ed esperti in analisi testuale Text Analysis Pedagogy (TAP) Institute.

Da **settembre fino agli inizi di dicembre 2024** c'è la possibilità di svolgere un progetto di ricerca attraverso l'applicazione delle tecniche di analisi testuale, avvalendosi degli strumenti di Constellate e della consulenza dei formatori di Constellate (https://constellate.org/skill-build).

La Biblioteca ha sottoscritto alcune collezioni del database Jstor Archive grazie a questo è possibile scaricare i testi facenti parte delle collezioni sottoscritte. Per gli altri contenuti si può accedere solo alle misure lessicometriche

Un ambiente di lavoro che garantisce la sicurezza del rispetto dei diritti della proprietà intellettuale per i testi richiamati direttamente dai Jstor Archive.

Nel caso di Upload di testi esterni nello spazio di analisi è invece necessario accertarsi personalmente che vengano rispettati i diritti d'autore.
Contatti e link utili

Deborah Grbac

Biblioteca d'Ateneo

[deborah.grbac@unicatt.it](mailto:deborah.grbac@unicatt.it)

Constellate dell'editore Ithaka

LibGuide della Biblioteca sulla risorsa contenente pagina di accesso, informazioni sull'analisi testuale, specifiche sulla piattaforma e un mini-tutorial sul Constellate Lab