商人潘君勉为纪念其父亲潘荫华而兴建，故当时命名为「荫华庐」。潘君勉为旅港嘉应商会始创办人及香港南洋输出入商会首名主席，曾捐款支持同盟会进行革命活动及资助兴建博爱医院。当时中共领导人叶剑英乃潘君勉好友，他与周恩来于1938年在港时便曾入住潘屋。此外，作家郭沫若也于1939年入住潘屋。香港日治时期，潘屋曾被日军征用作宪兵指挥办公室，是元朗军事总部。1983年，时任港督尤德夫人曾进入潘屋参观，而古物古蹟办事处于1985年将之评为一级历史建筑。
建筑特色.潘屋以传统客家设计兴建，潘君勉从家