Inițial a fost crescut de mama sa. În timpul turbulențelor din timpul Războiului Succesiunii Spaniole, familia s-a mutat la reședința tatălui din Viena. Joseph și-a continuat educația la Viena după ce părinții săi s-au întors în Sigmaringen în 1714. După decesul tatălui său în 1715, el a succedat ca Prinț de Hohenzollern-Sigmaringen. Totuși, cum era minor, mama sa a fost regentă până în 1720. Cu puțin timp înainte de 1720, Joseph a intrat în armata austriacă unde a deținut rangul de general de cavalerie.