​Jan van Riebeeck het op 6 April 1652 aan die Kaap geland en 'n Nederlandse kolonie gestig in die naam van die Verenigde Oos-Indiese Companjie.
In 1685 het die Kommissaris Baron van Rheede, die Stellenbosch "kolonie" besoek en opdrag gegee dat 'n drostdy ('n magistraathof en -woning) opgerig moet word op die eiland Stellenbosch en dat 'n dorp uitgelê moet word. Op 22 Oktober 1686 is die eerste baksteen van die eerste gebou hier gelê, 'n gebou wat in April 1687 voltooi is. Dit was magistraathof asook tuiste van die eerste magistraat, Johannes Mulder. Die 1710 skets van ene Van Staden toon 'n U- of T-vormige gebou wat klaarblyklik nogal groot was aangesien Van der Stel en sy reisgeselskap dikwels daar tuis gegaan het.
In Desember 1710 het hierdie gebou en die meeste ander geboue in die dorp afgebrand. Volgens die 1757 tekening van Drostdystraat, is die drostdy herbou met 'n tipiese simmetriese vooraansig en smal geuwel. Hierdie tweede drostdygebou het egter ook afgebrand.
'n Derde drostdy is op dieselfde terrein gebou in Kaaps Hollandse styl, met 'n baie spesiale Barok geuwel. Dit is voltooi tussen 1767 en 1768. 'n Groot deel van die Kaap kolonie is vanuit hierdie gebou bestuur totdat die Swellendam drostdy in 1745 opgerig is. Aan die einde van 1827 het die Britse koloniale regering die magistraatshof op Stellenbosch gesluit en het die gebou 'n privaat woning geword.
In 1858 word hierdie gebou die setel van die eerste instansie vir hoër onderwys vir die Nederlandse / Afrikaanse deel van die bevolking: die Teologiese Kweekskool van die Nederduitse Gereformeerde Kerk. Die stigting van hierdie instansie het daartoe aanleiding gegee dat Stellenbosch die setel van menige opvoedkundige instansies geword het:
Rhenish skool vir meisies, 1860;
Stellenbosch Gimnasium, 1866 (nou bekend as Paul Roos Gimnasium);
Die Stellenbosch Kollege, 1880 - 1887. Dit word die Victoria Kollege, 1887 - 1918; en uiteindelik die Universiteit Stellenbosch, 1918.
Hoër Meisieskool Bloemhof, 1875.
Teen 1868 is die drostdy gebou omskep in 'n dubbelverdieping gebou met wonings vir professore aan beide kante daarvan. Die gebou se huidige vooraansig is in 1905 opgerig. Die ysterpilare en traliewerk is in 1952 vervang met die huidige pilare.