Klubben ble grunnlagt i 1893, etter en sammenslåing av de to eldre klubbene i området Moray, Elgin Rovers og Vale of Lossie. Klubbens første trofé kom i 1898, da de ble den første klubben utenfor Inverness til å vinne the North of Scotland Cup. Etter det hadde de imidlertid begrenset suksess, bortsett fra å vinne the Elgin District Cup, inntil de igjen vant the North of Scotland Cup i 1924. Siden den gang har de vunnet heder og ære i lokale mesterskap med jevne mellomrom.