安乐村是文人道侣聚集及富人修建别墅之区，有镜湖别墅、西河别墅、瑞胜书室、李园、本立园、成法园、三教总学会、安乐祠、「Fanling Babies Home」等，其中于1925年建成的轩辕祖祠（新农学校）最为着名。第二次世界大战日军侵佔香港，经由罗湖沿上水、粉岭挥军南下向市区推进，曾佔领安乐村作宪兵分部，用作审问犯人和摆放军事设施等。因为村内的民初建筑，安乐村当年是电视和电影的取景胜地。1980年代开始，该村的土地逐渐被政府规划成「粉岭工厂区」（即安乐村工业区）。1979年5月27日，寮仔部在清拆村屋