过于仓促之下只得将神像头上的凤冠取下才能放入木箱搬运。随后就由撤退的信徒轮流揹着木箱撤退来台。渔山列岛的居民来到台湾后，暂时安置在基隆市的临时接待所，这时部分信徒便将神像自木箱取出，并简易供奉起来烧香参拜。之后渔山列岛居民再度被政府迁移到今日台东县东河乡的兴昌一带。1956年再迁到今日县立富冈国小旁，后形成聚落，称为富冈新村。这段期间，信徒们轮流协助搬运如意娘娘神像在各处迁徙，直到在富冈国小旁形成聚落后，神像才暂时安放在民宅中供信徒参拜。1965年，信徒们发起集资建庙计划，这时如意娘娘神像才有了真正