Albion Rovers ble stiftet i 1882, da de to lokale klubbene Albion og Rovers slo seg sammen. Et par år senere etablerte klubben seg på banen Meadow Park i Whifflet, sør for Coatbridge. I 1903 ble de valgt inn i Division 2 i Scottish Football League. De holdt seg i 2. divisjon fram til divisjonen ble innstilt på grunn av 1. verdenskrig våren 1915. Albion Rovers ble valgt inn i 1. divisjon i 1919, og første juledag samme år tok de i bruk Cliftonhill som ny hjemmebane. Våren 1920 oppnådde klubben sin største suksess, da de nådde cupfinalen. De tapte imidlertid 2-3 mot Kilmarnock i finalen. Våren 1922 fullførte Albion Rovers sin beste sesong i ligaen, da de ble nummer 11 av 22 lag i 1. divisjon.