Још за очеве владавине постао је краљ Угарске (1687.) и краљ Римљана (1690). Добијањем титуле краља Римљана био је одређен да наследи оца на царском престолу. Учествовао је у рату за шпанско наслеђе. Заједно са царским генералом Лудвигом Вилхелмом, маркгрофом од Баден-Бадена, Јозеф је учествовао у опсади града Ландау у Пфалцу.