原本有三栋，本地人称「埔顶三块厝」，是当时税务司官邸，他们在此工作轻松，生活之享受非当时台湾百姓所能想像。日本领台后，日本首相伊藤博文也曾慕名到此下榻一宿，留下风流韵事。日治时代这栋建筑物属税关，因关务大减而废除，被附近淡江中学学生称为「化物敷屋」（鬼屋）。二战后，其东侧另二栋同型洋楼被拆除。1996年，财政部关税总局曾决定将此建筑报废、改建员工住宅，引起所谓「抢救小白宫」的行动；在淡水仕绅及专家学者的强力奔走下，才保住这栋具有历史意涵的白色建筑，永久维护；而台北县淡水镇公所也提报古蹟评鑑，以保存此文化