Holzbauers far var lærgrossist i Wien. På foreldrenes ønske studerte Ignaz jus og teologi, men studerte musikk på egen hånd og fikk musikkopplæring av kormedlemmene i Stefansdomen. Han lærte seg kontrapunkt ved hjelp av Johann Joseph Fux' , og begynte å komponere. Fux ble så imponert over resultatene at han rådet Holzbauer til å reiste til Italia.