Rimi ble startet i 1977 av Stein Erik Hagen under navnet RIMI 500 da han omprofilerte en Matkroken VIVO-butikk i Oslo/Akershus-området. Stein Erik Hagen hadde overtatt Matkroken VIVO-butikken av sin far Odd Hagen, som hadde startet Matkroken-kjeden i Hagen-Gruppen og VIVO-kjeden. Butikkene hadde i en årrekke slagordet «Vi gjør Norge billigere» og senere «Enklest er billigst». Etterhvert som RIMI 500-butikkene gjorde det bra i 1980-årene, ble flere og flere av Matkroken VIVO-butikkene omprofilert til RIMI eller RIMI 500; det samme ble andre lokale dagligvareforretninger rundt i Norge. I 1985 fikk Stein Erik Hagen full kontroll over farens firma Hagen-Gruppen og alle Matkroken-butikkene (som hadde forlatt VIVO-kjeden i 1980) under selskapet, og samlet begge kjedene (RIMI og Matkroken) under ett eierskap. Det første RIMI stormarkedet med 1000 varer i sortimentet ble åpnet i 1986 på Hadeland, som RIMI 1000.