Fra 1700 til 1707 var Caldara kapellmester i Mantova. I 1708 skrev han andre akt av operaen for keiser Karl VI av Det tysk-romerske rike. Fra 1709 til 1716 var han ansatt i Roma og ble rundt 1716 utnevnt til første visekapellmester under Johann Joseph Fux ved det østerrikske hoffkapell i Wien. Her skapte han seg et solid ry med sine over 3400 verk, blant annet mer enn 80 operaer, mange med libretto av Metastasio. Dessuten 43 oratorier og rundt 150 messer. I tillegg serenader, kantater og sinfonias. Caldaras musikk utmerker seg med en stor melodirikdom.