Sim und Attenborough heirateten am 22. Januar 1945. Ihre Flitterwochen verbrachten sie im winterlichen, verschneiten Bournemouth. Anfangs lebten sie in zwei Zimmern in der Wohnung von Sims Eltern. Später bezogen sie ein House in Chelsea, das sie selbst renovierten. Aus der Ehe gingen drei Kinder hervor, Michael, Jane und Charlotte. Ab 1956 lebte die Familie in Richmond upon Thames, in South-West London. Nach der Ernennung Richard Attenboroughs zum Life Peer war ihr offizieller Titel seit 1993: "The Right Honourable Sheila Beryl Grant Attenborough, the Lady Attenborough". Im Dezember 2004 starben ihre Tochter Jane und ihre Enkelin Lucy bei der Tsunami-Katastrophe in Thailand.