Han tilbragte sine tidligste år i Rożnowo og Stare Sioło. Det var opprinnelig planen at han skulle bli prest, men etter farens død i 1500 overbeviste hans mentor Maciej Drzewiecki Barbara av Rożnowo om å oppgi den planen. I 1501 ble Tarnowski sendt til kongens hoff. Men den 17. juni 1501, døde kong Johan I Albrekt og han vendte tilbake til Rożnowo, til morens gods.