Johan Rantzau var sønn av Steinburgs amtmann Heinrich Rantzau (ca. 1434-1497) og Øllegard von Buchwaldt. Han studerte krigskunst i England og i Spania.