Familien Nilsen drev Matsenteret fram til 1984, da butikken ble solgt til andre. I årene som fulgte begynte butikken å endre seg til å bli en mer konvensjonell matbutikk. Vareutvalget ble mer standardisert og mange av de egenimporterte varene forsvant grunnet at de ikke lenger lønte seg. Etter at Nilsen og hans kone begge gikk bort på 1980-tallet, gikk man bort fra grunnleggerens prinsipp og begynte å selge øl for første gang i butikkens historie. Butikken merket også hardere konkurranse fra større butikker i nyetablerte kjøpesentre utenfor Fredrikstad sentrum. Samtidig ble bygningen butikken hadde holdt til i en årrekke innlemmet i kjøpesenteret Torvbyen. På 1990-tallet ble butikken kjøpt opp av Stein Erik Hagen og ble en del av dagligvarekjeden Rimi. Vareutvalget ble justert etter kjedens standard og framsto fra da av som en vanlig Rimibutikk (ferskvaredisken ble imidlertid beholdt som før). Alle spor etter Gunnar Nilsens spesielle matsenter var nå i praksis borte, med unntak av et skilt med butikkens gamle logo som fikk henge igjen over inngangsdøra inne i Torvbyen som et minne.