Robert Adam var sønn til den skotske arkitekten William Adam. Av sine syv søsken kom John (1721-1792) og James (1734-1794) til å arbeide sktivt med ham. Kort etter Roberts fødsel flyttet familien Adam til Edinburgh. Robert studerte ved universitetet i Edinburgh årene 1743-1745. Han arbeidet deretter som praktikant og assistent for faren.