台湾日治时期，日本政府对台湾传统文化不甚重视，统治当局陆续征用台北城内许多公众及庙宇建筑；其中，台北大天后宫曾被征作办务署厅舍、台湾总督府医学校校舍、台湾总督府国语学校宿舍等。1900年代至1910年代前后，台北大天后宫遭有关当局拆除；一说其建物于明治卅三年（1900年）因台北公园用地计画整体考量遭拆除，另一说为明治四十四年（1911年）其建物遭台风严重毁损致无法修复，而后于大正元年（1912年）拆除。其后，台湾总督府民政长官祝辰巳主导募款，筹划于当地建立「故儿玉总督暨后藤民政长官纪念馆」（即今国立台