Die Lodge dateer oorspronklik van die middel 17de eeu. Teen 1750 het daar ’n klein steenhuis in die koningin Anna-styl op die terrein gestaan. Dit is teen 1792 vergroot.
George, die Prins van Wallis (later koning George IV) het tydelik daar gebly terwyl hy die groter, nabygeleë Cumberland Lodge wou laat herbou. Later is dit vergroot en was dit ’n groot huis met ’n grasdak, verandas en ’n kweekhuis. Die prins het in 1815 daar gaan bly en die herbouing van Cumberland Lodge laat vaar. Aanbouings is na 1820 gedoen en dit het bekend geword as die Royal Lodge.
Die huis het sedert die 1840's broksgewys gegroei, maar is steeds relatief klein en informeel. Op die terrein is die miniatuur-kothuis Y Bwthyn Bach, ’n geskenk in 1932 van die mense van Wallis aan die destydse prinses Elizabeth. Daar is ook ’n kapel wat steeds deur koningin Elizabeth en ander lede van die koningshuis gebruik word.