En klädesfabrik kommer att af en tystanläggas