Etter at den gamle hovedbygningen brant ned i 1819, fikk kronprins Karl Johan oppført den nåværende kongelige villaen i årene 1823-1826, med et tilbygg i 1827. Arkitekt var Fredrik Blom. Bygningen som ble satt opp på Rosendal var et monteringsferdig trehus med 17 rom i to etasjer. Slottet ble bygd i ferdige seksjoner som ble transportert til Djurgården og montert der. Denne teknikken hadde Blom anvendt seg av allerede i 1818 ved byggingen av Borgen på Ladugårdsgärdet, men da slottet på Rosendal ble bygget, ble fasaden i tillegg forsterket med pusset tegl. Bygget er et godt eksempel på svensk empirestil.