泽曼继续在鲁道夫·冯·奥尔斯瓦尔德内阁中担任财政大臣。其财政改革遭到容克贵族反对，因而在9月8日辞职。此后逐渐淡出政界。1851年，在柏林成立贴现银行（Disconto-Gesellschaft），1862年成立普鲁士第一典当股份公司。1864年，在施朗根巴德疗养时逝世，葬于柏林舍讷贝格的汉泽曼墓。其子阿道夫·冯·汉泽曼亦是成功的企业家和银行家。