Klubben holdt seg i øverste divisjon til 1923. De rykket opp igjen i 1934, men greide ikke å holde seg stabilt i 1. divisjon. Albion Rovers rykket ned fra øverste divisjon siste gang i 1949. Da ligaen ble omorganisert i 1975, rykket klubben ned i nye Second Division (nivå 3), og etter neste omorganisering i 1994 var klubben i Third Division (nivå 4). Albion Rovers har blitt sist i ligaen flere ganger. Først i 2000 ble klubben helprofesjonell.