。1900年代至1910年代前后，台北大天后宫遭有关当局拆除；一说其建物于明治卅三年（1900年）因台北公园用地计画整体考量遭拆除，另一说为明治四十四年（1911年）其建物遭台风严重毁损致无法修复，而后于大正元年（1912年）拆除。其后，台湾总督府民政长官祝辰巳主导募款，筹划于当地建立「故儿玉总督暨后藤民政长官纪念馆」（即今国立台湾博物馆前身），以纪念前任台湾总督儿玉源太郎与民政长官后藤新平。据传，拆除前后，庙内所有神像都被收置于台北州厅厅舍一储藏室内。庙体部分石造建筑结构在拆解后被散置于当地至今。