土佐藩
有個土佐藩的藩醫父親，並生於江戶鍛冶橋的土佐藩邸。安政2年（1855年），因為安政大地震的關係，於是整個家族搬回到高知，父親並以醫生的身分開業，斌則在土佐藩校致道館讀書並迅速嶄露頭角，並因此擔任句讀師等工作。在致道館中，有之後以政治小説家身分而成名的宮崎夢柳（芙蓉），明治期日本漢詩界的領袖人物土居通豫（香國），兩人也都成為他一生的好友。