Men omslaget kom brått. Konkurransen fra lavkostland tok knekken på Arne Fabrikker og store deler av norsk tekstilindustri. Gjennom Norion-konsernet ble staten koblet inn, og gjennom sentralisering ble det gjort et forsøk på å redde deler av industrien. Men etter en bitter strid med rettssak mot staten var det for Arne Fabrikker sin del det meste slutt rundt 1980, selv om det var produksjon i fabrikklokalene under navnet Arne-Høie, seinere Høie, en tid framover.