安政2年（1855年）の安政の大地震をきっかけに家族で高知に戻り、父は医者を開業、斌は土佐藩校致道館で学ぶがすぐに頭角をあらわし、句読師などに任ぜられる。
安政2年（1855年），因为安政大地震的关系，于是整个家族搬回到高知，父亲并以医生的身份开业，斌则在土佐藩校致道馆读书并迅速崭露头角，并因此担任句读师等工作。