Agazzari kom fra en gammel adelsfamilie i Siena. Etter sin første kunstnerutdannelse, reiste han i 1601 til Roma der han arbeidet som dosent ved Collegium Romanum i årene 1602 til 1607. På denne tiden ble han kjent med musikeren Lodovico Grossi da Viadana.