Seus avós paternos foram Francisco I, Sacro Imperador Romano-Germânico e Maria Teresa da Áustria e seus avós maternos foram Carlos III de Espanha e Maria Amália da Saxônia. José foi irmão de Francisco II, Sacro Imperador Romano-Germânico, Fernando III, Grão-duque da Toscana e Carlos de Áustria, duque de Teschen, herói da Batalha de Aspern-Essling.