Om huset, som nevnes i en takst fra 1726, er identisk med dagens bygning er usikkert. Den østlige delen av bygningen er fra tidlig 1700-tall eller eldre. Et påbygg mot vest kom til omkring 1815 og langsiden fikk da et enhetlig utseende i klassisistisk stil. Opprinnelig var planløsningen et sentralt korridorsystem med rom med sovealkove beliggende innenfor. Her bodde det kongelige hoffets . Bygningen har tre etasjer mot Ekerövägen og to etasjer samt et innredet loft mot gården. På Drottningholm har det funnets postkontor fra 1778 til 2000 og det mest av tiden lå det i Kavaljershuset unntatt 1830-1858. På 1900-tallet lå også telegrafstasjonen og telefonsentralen her.