文化宫所在地块原为农田，包含陈家宅、陈家白漾、王家弄和张家桥四个自然村。20世纪50年代末，由上海建筑规划设计研究院设计，开始兴建工人文化宫。建设工程于1959年7月开工，1960年10月落成。1961年2月7日，文化宫投入使用，初名沪西工人俱乐部。文化大革命期间，更名为普陀区文化宫，后又更名为普陀区工人文化宫。1979年，正式命名为沪西工人文化宫至今。