W 1886 rodzina Milschów sprzedała browar wraz z przyległymi do niego działkami, w tym kompleksem "Leśniczówki". W 1900 roku Ogród przecięła linia tramwajowa (którą w następnych latach przedłużono do dworca kolejowego Łódź Kaliska). Po uruchomieniu dworca i w konsekwencji powstawaniu w okolicy kolejnych fabryk i magazynów, miejsce powoli zaczęło tracić na atrakcyjności. Po upadku powstania łódzkiego "Leśniczówka" stała się siedzibą "Bezpartyjnych Związków Zawodowych", nie straciła jednak do końca swojego rekreacyjnego charakteru – organizowano tam dla członków związków zabawy, występy orkiestr robotniczych. Po zakazaniu przez carat tworzenia i działania związków zawodowych, w willi utworzono kwatery mieszkalne. W 1920 roku kwaterowali tam uchodźcy z terenów zajętych przez Armię Czerwoną. "Leśniczówkę" rozebrano pod koniec lat 30. XX wieku ze względu na jej fatalny stan techniczny. Do tamtego czasu wokół niej zdążyło wyrosnąć miasto.