Fra han var fem år gammel, da han begynte å spille fiolin, ble Giulinis musikalske utdannelse utvidet da han begynte å studere ved Italias fremste konservatorium, Conservatorio Santa Cecilia i Roma i en alder av 16. I utgangspunktet studerte han bratsj og dirigering; deretter, etter en audition, vant han en plass ved Orchestra dell'Accademia Nazionale di Santa Cecilia.