O přesném datu narození Jana Jiřího se vedou spory. Jiří Jánský ve své knize "Páni ze Švamberka" uvádí datum 30. srpna 1548, nicméně Petr Maťa uvádí až rok 1555. Datum narození je navíc stěžejní, protože není potvrzené, která z žen Janova otce Petra byla Janovou matkou. Petrova první manželka, Dorota z Haidecka, totiž zemřela roku 1551 a pokud by se Jan Jiří skutečně narodil až v roce 1555, jeho matkou by musela být až Petrova druhá manželka Anežka z Lobkovic. Každopádně, Dorota z Haidecka bývá uváděna častěji. Je to kvůli tomu, že jediný syn Petra I. ze Švamberka měl údajně být pokřtěn po otci jeho matky a otec Doroty se skutečně jmenoval Jan Jiří z Haidecka. Je navíc pravděpodobné, že při obléhání Vídně v roce 1529 a jako pozdější zemský sudí Jan Jiří z Haidecka skutečně přišel do kontaktu se Švamberky. V každém případě, Jana Jiřího vychovávala především jeho macecha Anežka. Společnost mu dělali i mladší sourozenci, kterých měl pět, dospělosti se jich ale dožilo jen málo.