Robert Adam nació el 3 de julio de 1728 en Gladney House en Kirkcaldy, Fife, siendo el segundo hijo de William Adam (1689–1748), un arquitecto y cantero que se convirtió en el diseñador de casas más destacado de Escocia durante ese tiempo.