新免無二
また、細川氏家臣の沼田氏が寛文12年(1672年)に編集した文書『沼田家記』には、無二の子・武蔵が慶長18年(1613年)頃に行った巌流島決闘の記述があり、ここに無二が登場する。巌流島決闘で武蔵側が一対一の約定を違え、武蔵の弟子達が巌流島で小次郎を撲殺。怒った小次郎の弟子達の追撃から武蔵が遁走、当時門司城代を勤めた沼田延元に保護を願い、延元は武蔵を城内に保護した後、鉄砲隊で警護し、豊後国に居住する無二のところまで送った、との記述である。また豊後日出城主木下延俊の慶長18年(1613年)の日記に度々無二が登場し、兵法を教えている。この無二に関しては、宝暦元年(1751年)日出藩家老・菅沼政常が記録した『平姓杉原氏御系図附言』の木下延俊の項にも「剣術は宮本無二斎の流派を伝たまふ」と解説されている。これらのことから、この頃、無二は黒田家から離れ、豊後に居住もしくは滞在していたとも推察される。