忠固は嘉永5年(1852年)7月4日に死去、跡を子の大岡忠恕が継いだ。