Elgin ble først dokumentert i (en middelalderbok med kopier av charter)i 1190 e.Kr. Det ble opprettet en kongelig burgh på 1100-tallet av kong David I av Skottland, og hadde på den tiden et festning på toppen av dagens Lady Hill vest for byen. Opprinnelsen til navnet Elgin er sannsynligvis gælisk. Det kan stamme fra som bokstavelig talt betyr «skjønnhet», men topografisk sett henvisning til et vakkert sted eller dal. En annen mulighet er , som betyr både «Irland» og «verdig». Endelsen eller er gæliske avslutninger som betyr små eller diminutive (forkortingsord) former, og derfor kan Elgin bety «vakkert sted», «verdig sted» eller «lille Irland».