北大天后宫曾被征作办务署厅舍、台湾总督府医学校校舍、台湾总督府国语学校宿舍等。1900年代至1910年代前后，台北大天后宫遭有关当局拆除；一说其建物于明治卅三年（1900年）因台北公园用地计画整体考量遭拆除，另一说为明治四十四年（1911年）其建物遭台风严重毁损致无法修复，而后于大正元年（1912年）拆除。其后，台湾总督府民政长官祝辰巳主导募款，筹划于当地建立「故儿玉总督暨后藤民政长官纪念馆」（即今国立台湾博物馆前身），以纪念前任台湾总督儿玉源太郎与民政长官后藤新平。据传，拆除前后，庙内所有神像都被