Cameron vokst opp i Pearsemore i nærheten av Newbury i Berkshire. Foreldrene er økonom Ian Donald Cameron og Mary Fleur Mount, datter av William Malcolm Mount, 2. baronet. Faren ble født på Blairmore House i nærheten av Huntly i Skottland, bygd av Camerons farfar. Camerons far var direktør for John D. Wood. Camerons morfar, Alex Geddes, som hadde tjent en formue på korn i Chicago, vendte tilbake til Skottland i 1880-årene. David Camerons familie er fra Inverness-området i det skotske høyland.