朝统治初期的安平因为是重要港口的关系，所以相当繁荣，连带地天后宫的香火也相当兴盛。但随着其他地区港口发展起来，加上安平港逐渐淤积，使得安平逐渐没落，天后宫的香火也受到影响。根据安平文人林勇採访耆老的记录，在1895年日军进入安平时，仍有清兵（刘永福黑旗军）在天后宫中，后来遭到日军围剿，仅1人逃出。后来日军在庙后挖坑，埋葬被杀的56人。之后据说天后宫附近常有冤魂出现，信众因而不敢上香，董事们也认为庙宇被腥血所溅有失清静而敬而远之，天后宫遂逐渐荒废。而在日治时期初期，安平天后宫被视为官有家屋，交由日本陆军经