Zamoyski besøkte Polen først på 1960-tallet. Han har dobbel polsk-britisk nasjonalitet og snakker engelsk, polsk, fransk, italiensk og russisk. Foreldrene hans, grev Stefan Zamoyski (1904–1976) og prinsesse Elizabeth Czartoryska (1905–1989), giftet seg i 1929 i Gołuchów, Polen, men forlot hjemlandet i 1939 like etter invasjonen av Tyskland og Russland. Da sovjeterne fikk kontroll over landet på slutten av andre verdenskrig, fant de seg strandet i Vesten og bosatte seg til slutt i London.