Постоянной проблемой музея была нехватка выставочной площади. В начале 1970-х был объявлен конкурс на новое здание музея, но его проведение провалилось из-за экономического кризиса. В 1973 году музей получил в своё пользование дворец Эдварда Хербста в . Шанс на создание пространства, которое полностью бы отвечало требованиям авангардного искусства и его презентации, появился только вместе с планами по созданию центра «Мануфактура» на месте бывшей фабрики Израиля Познаньского.