岛上的居民，在仓促撤退之下，便将庙内如意娘娘的神像给装进木箱中，由于如意娘娘的神像高约40到50公分，无法放入木箱中，过于仓促之下只得将神像头上的凤冠取下才能放入木箱搬运。随后就由撤退的信徒轮流揹着木箱撤退来台。渔山列岛的居民来到台湾后，暂时安置在基隆市的临时接待所，这时部分信徒便将神像自木箱取出，并简易供奉起来烧香参拜。之后渔山列岛居民再度被政府迁移到今日台东县东河乡的兴昌一带。1956年再迁到今日县立富冈国小旁，后形成聚落，称为富冈新村。这段期间，信徒们轮流协助搬运如意娘娘神像在各处迁徙，直到在