山邓族文物馆的前身为屏山警署，座落于被称为「蟹山」的屏山岭上，始建于1899年。屏山邓氏族人认为该警署是殖民地政府压制中国人的大本营，且严重破坏屏山风水，当警署用作警犬队总部时更是对邓族历史文物的极大侮辱。直至1990年代初，当香港政府要求屏山邓氏把屯门稔湾的祖坟迁走，邓氏族人则于1994年提出以拆除屏山警犬训练中心和赔偿迁坟的趸符费，翌年又提出一项折衷办法，要求把稔湾祖坟迁葬至屏山邓氏宗祠后的山头，到1996年6月，邓氏又提出待警署搬迁后，把建筑物交予屏山邓氏作为博物馆，以改变建筑物属性的方式去把「大石」