寛文11年(1671年)、久留米藩にお預けとなっていた義政が赦免されて、江戸上野広小路に屋敷を構えると、義住も江戸に上り、父と共に暮らす。