Ferdinand II was de tweede zoon van keizer Ferdinand I van het Heilige Roomse Rijk uit diens huwelijk met Anna van Bohemen en Hongarije, dochter van koning Wladislaus II van Hongarije en Bohemen. Hij was de jongere broer van keizer Maximiliaan II. In 1547 wees zijn vader hem de administratie over het koninkrijk Bohemen toe. Als plaatsvervanger van zijn vader perkte hij de rechten van de Boheemse standen in en hief hij hogere belastingen, om de schulden van het Huis Habsburg bij het koopmans- en bankiersgeslacht Fugger, die de keizer financiële steun hadden gegeven in de Schmalkaldische Oorlog, terug te betalen. Ook leidde hij in 1556 in Hongarije de campagne tegen de Ottomanen.