Simons mor var Phyllis April Jaffé, (1927–2019) av den litauiske gren av Jaffeslekten. Henne foreldre flyktet fra keiserriket Russland tidlig på 1900-tallet. De kjøpte billetter til New York City, men ble lurt, og ble istedet satt av i Cork i Irland. På grunn av Limerickboikotten i 1904 dra hennes far Henry Jaffé fra Irland og flyttet til Newcastle upon Tyne i England. Simons bror er Hugh Sebag-Montefiore og hans svigerinne er sosietetskvinnen Tara Palmer-Tomkinson.