Mens han bodde i Wien på 1960-tallet møtte han sin første hustru Marie Nicole Aubry (1966–1977), niese av finansministeren i François Duvaliers regjering på Haiti. Deres sønn Nick Stone er forfatter av thrillere. Stone hadde et hus i nabolaget Galata i Istanbul og delte sin tid mellom Tyrkia og England. Han ble gift med Christine Margaret Booker, født Verity, i august 1982.