天正6年（1578年）、黒田孝高が荒木村重によって有岡城に幽閉された際、黒田家家臣一同の誓紙への署名を又兵衛の伯父・藤岡九兵衛が拒否したため一族追放となり、仙石秀久に仕えることとなる。
天正6年（公元1578年）黑田孝高被荒木村重于有冈城幽禁之际，黑田家家臣一同提出效忠誓书时，又兵卫的伯父藤冈九兵卫拒绝签署，于是后藤一族被追放，改仕于仙石秀久。