Su hermano menor y socio comercial James Adam también fue un arquitecto de renombre, al igual que su hermano mayor John Adam, aunque ambos fueron eclipsados por Robert.