THE INFLUENCE OF RATING EXPERTISE AND LANGUAGE BACKGROUND ON JUDGMENTS OF SYNTACTIC COMPLEXITY IN L2 WRITING IN ITALIAN
Authors: Vedder Ineke 
Published: January 2025

The purpose of the study is to examine, by means of a quantitative and a qualitative analysis, the influence of rating expertise and language background on judgments of syntactic complexity in L2 writing in Italian. An additional aim is to explore the extent to which raters’ reflections are related to current views in SLA (Second Language Acquisition) on the development of syntactic complexity in L2. By means of a quantitative and a qualitative analysis, the paper compares the complexity ratings and score motivations of three groups of raters: 16 language teachers with Italian as their first language (L1); 18 (high)intermediate L2 university students of Italian, with Finnish and Hungarian as their L1); 20 Italian university students, native speakers of Italian. All raters were asked to evaluate the syntactic complexity of six argumentative texts written by (low) intermediate learners of Italian. No impact of rating expertise or L1 vs. L2 background could be established, as high correlations were found between the three groups. The qualitative analysis of the score motivations revealed, however, some interesting differences between expert en non-expert raters. In a number of cases, raters’ scoring motivations and feedback were found to be influenced by syntactic characteristics of their L1. Raters’reflections on syntactic complexity appeared to be only partly aligned with existing theoretical views on syntactic complexity.
L’IMPATTO DELL’EXPERTISE E DELLA (NON) NATIVESSNESS NELLA VALUTAZIONE DELLA COMPLESSITÀ SINTATTICA NELLE PRODUZIONI SCRITTE IN ITALIANO L2
L’obiettivo di questo contributo è l’esame dei giudizi e il tipo di feedback di un gruppo di valutatori esperti (insegnanti) e ínesperti (studenti), della complessità sintattica nelle produzioni scritte in italiano L2, attraverso un’ analisi quantitativa e qualitativa. Una seconda variabile su cui lo studio si focalizza è l’impatto della (non)nativeness (parlante nativo vs. parlante non nativo) del valutatore. Lo studio si propone inoltre di esplorare la misura in cui i giudizi dei valutatori sono allineati con le ipotesi sulla crescità della complessità sintattica nella letteratura SLA (Second Language Acquisition). Lo studio compare i giudizi di tre gruppi di valutatori: 16 insegnanti di lingua, parlanti nativi dell’italiano; 18 apprendenti di italiano (studenti universitari, di lingua materna ungherese e finlandese); 20 parlanti L1 (studenti universitari, di madrelingua italiana). Agli informanti è stato chiesto di giudicare la complessità sintattica di un piccolo campione di testi argomentativi (n=6), scritti da apprendenti di livello basso-intermedio. L’analisi quantitativa dei dati ha dimostrato che i giudizi di insegnanti vs. studenti, e di parlanti nativi vs. parlanti non nativi, concordano largamente e risultano altrettanto affidabili. L’analisi qualitativa del feedback e delle motivazioni dei giudizi assegnati, ha invece evidenziato delle differenze interessanti tra valutatori ‘esperti’ e ‘non-esperti’. Anche le preferenze sintattiche della lingua materna (L1 vs. L2) sembrano influenzare i loro giudizi nella lingua target. Lo studio ha infine fatto vedere che le motivationi su cui si basano i giudizi degli insegnanti rispecchiano solo in parte i risultati emersi dalla ricerca sullo sviluppo della complessità in L2.