而根據《巴達維亞日記》記載，1661年間（南明永曆15年、大清順治18年）時逢鄭成功兵發台灣，圍攻荷蘭東印度公司所在的熱蘭遮城。荷蘭東印度公司位於巴達維亞總部派遣 Jacob Caeuw 率艦馳援，9月30日登陸澎湖島，企圖搜刮島上牛、羊、豬隻等來補給糧食，卻不慎遭遇三、四十位中國海盜攻擊，造成三十六名船員死亡。台灣學者許玉河表示，若《巴達維亞日記》記載屬實，南埔廟所供奉的三十六名無名屍，極有可能是荷蘭船員，而非來自虎井嶼抵抗外侮的民族英雄。