Han var sønn av erkehertug Ferdinand II av Østerrike av huset Habsburg, hersker over Tirol, i hans morganatiske ekteskap med Philippine Welser av patrisier- og bankierfamilien Welser. Hans farfar var keiser Ferdinand I. Han var bror til general Karl av Østerrike, markgreve av Burgau, og halvbror til keiserinne Anna av Tirol. Hans fetter var kardinal Albrecht av Østerrike (kreert 1577).