Ferdinand ble født i Wien som en prins av Koháry-grenen av familien Sachsen-Coburg-Gotha. Han vokste opp i det kosmopolitiske miljø i Østerrike-Ungarns øvre adel samt i slektslandeområder i Slovakia og i Tyskland. Koháryene kommer fra en relativt rik øvre ungarsk (nå slovakisk) adelsfamilie, som hadde det fyrstelige området Čabraď og Sitno i Slovakia, blant annet.