その後、1556年(弘治2年)に現在地に遷宮され、1582年(天正10年)黒田城城主沢井雄重(織田信雄の家臣)が再建し、黒田城の守護神とする。