Jan Amor Tarnowski var sønn av Jan Amor Junior Tarnowski, Krakóws kastellan, og hans annen hustru Barbara av Rożnów, barnebarn av adelsmannen Zawisza den sorte. Han nedstammet fra en viktig familieklan som ble startet på midten av 1300-tallet av Spyrimir Leliwita, kastellan av Kraków. Tarnowski hadde fem halvsøsken fra farens første ekteskap: Jan Amor den eldre, Jan Aleksander (død 1497), Katarzyna, Zofia og Elżbieta. Han hadde også fem halvsøstre fra sin mors første ekteskap.