ところが天保15年（1844年）、江戸城本丸に火災が起こり、その再建のための資金調達を第12代将軍徳川家慶に命じられたが、利位は諸大名から十分な献金を集めることが出来ずに家慶の不興を買った。
天保15年（1844年），江户城本丸发生火灾，利位因收取了大名的重建费用，引起将军德川家庆的不快。