I 1566, under Erik XIVs regjeringstid, var samtlige landsbyer regnet som kongens arv og private eiendom. Landsbyene lå da under kongsgården (noen ganger kalt ) som ble sete for en fogd. Til eiendommen hørte også Kärsön som dog manglet gårdsbebyggelse. Det første slottsbygget ble påbegynt av Johan III i 1579, han kalte slottet «Drottningholm» etter dronning Katarina Jagellonica. Slottet ble herjet av brann i 1661 og allerede året etter la Nicodemus Tessin d.e. fram tegninger for det nåværende Drottningholms slott som dronning Hedvig Eleonora fikk oppført.