På 1800-tallet ble den gamle middelalderbyen Elgin feid bort. Det første store tillegget til sentrum var Assembly Rooms, bygget i 1821 av Trinity Lodge (frimurerlosjen), på hjørnet av High Street og North Street. I 1819 ble Dr Gray's Hospital bygget på ubrukt grunn. Bygningen har imponerende søyler og karakteristisk kuppel. Dr. Alexander Gray, en lege som jobbet for og tjente sin formue med Det britiske ostindiske kompani, ga 26 000 pund til sykehuset. I 1828 ble den nye sognekirken St Giles bygget til en pris av £10.000. Generalløytnant Andrew Anderson, født i Elgin, også fra Det britiske ostindiske kompani, døde i 1824 og testamenterte 70 000 pund til byen for å grunnlegge en institusjon for de eldre fattiges velferd og for utdanning av foreldreløse barn. Anderson Institution ble bygget i østenden av byen i 1832 med overnatting for 50 barn og ti eldre mennesker. Burgh Court House ble bygget i 1841, museet sto ferdig i 1842 og Sheriff's Court Complex ble bygget i 1866.