Jiří Seifert byl synem středoškolského profesora a učitelky. Rodina se po jeho narození přestěhovala z Prahy do Turnova, kde otec získal místo na gymnáziu jako učitel zeměpisu a tělocviku. Za války byl otec totálně nasazen, po komunistickém převratu v únoru 1948 ztratil místo a působil pak na střední škole v Jablonci nad Nisou. Jiří trávil válečná léta v Mělníku u prarodičů, kde se v Labi naučil výborně plavat a tomuto sportu se pak věnoval závodně. Roku 1949 se stal juniorským mistrem republiky v plavání. Kromě toho se věnoval lezení v pískovcových skalách v okolí Turnova a přímý fyzický kontakt s kamenem silně ovlivnil i jeho pozdější sochařskou tvorbu. Přátelil se se sochařem a horolezcem Valeriánem Karouškem, mladším synem turnovského obchodníka, v jehož domě Seifertovi bydleli.