Slottet ligger på stedet der middelalderborgen Real Alcázar de Madrid sto. Etter at en brann ødela Real Alcázar julaften i 1734, bestemte kong Filip V at det skulle reises et nytt palass samme sted. Filippo Juvarra ble engasjert som arkitekt, og etter at han døde i 1736 gjorde eleven Giambattista Sacchetti enkelte modifiseringer av planene, som igjen ble endret av Francisco Sabatini. Grunnsteinen ble lagt i 1738 og bygningen sto ferdig i 1751. Kong Karl III flyttet inn i palasset med sitt hoff i 1764.