Den 1-0 seger, tack vare Nicky Caddens straff, höll Livi en punkt bort från Airdrieonians, som har ett spel i handen och slog Peterhead 4-2 bort.
Queen's Park flyttade över Albion Rovers till femte plats genom att slå Brechin.
Spiders, som vann 2-0, är nu fem poäng bakom tredje plats Brechin, med Alloa, som är fjärde, inaktiva.
The Wasps, som Stranraer, East Fife och Stenhousemuir, var inte i ligan action, även om Stenny slog Forres Mechanics i den skotska Cupen.
Vid Cliftonhill, Ross Dunlop fouled Dale Carrick i lådan och Cadden konverterade spot-kick i näst sista minuten.
Det var ytterligare elände för värdarna som Alan Reid skickades iväg i stoppage tid efter hans andra bokning.
Airdrie tävlade i tre mål på Balmoor med Andy Ryans strejk, Sean McIntoshs huvud och Iain Russells mål alla kommer inom de första 20 minuterna.
Nicky Riley svarade för värdarna före halvtid och Leighton McIntosh straff efter Jack Leitch s foul på Riley ytterligare minskade Peterheads skulder.
Men Ryans andra insats av matchen djupt in i stopptiden gjorde att besökarna vann.
Brechin City förlorade mark på toppen två efter att ha förlorat på Hampden.
Ross Millen öppnade scoring från straffplatsen efter en första halv foul av målvakt Graeme Smith på Dario Zanatta och Ryan McGeever på väg hem ett sent Sean Burns hörn.
Livingston behöll sin smala fördel på toppen av Scottish League One med en smal och sen seger över Albion Rovers.