Stones amerikanske far var børsmegler. Moren var fransk. Foreldrene giftet seg i 1945 og skilte seg i 1962. Stone har kommentert at foreldrenes brudd har påvirket ham sterkt, både privat og yrkesmessig.