福控告丰绅殷德「演习武艺，谋为不轨，并欲害公主，将妾带至坟园于国服内生女各款」，谋害公主之事虽然子虚乌有，但是国服期间与侍妾行房以致生女确实，为此削去散秩大臣职务和伯爵爵位。嘉庆十一年（1806年），出任头等侍卫，满洲副都统，恢复伯爵，离京赴蒙古乌里雅苏台军中任职。嘉庆十五年（1810年）因固伦和孝公主恳求嘉庆帝，得以在二月回京养病，赏给公爵衔。当年五月，丰绅殷德去世，终年三十六岁，谥孝愍。有子早夭，遗二女，以堂兄丰绅宜绵之子福恩为嗣，承袭和珅父常保所遗三等轻车都尉世职。福恩有一女嫁给了定王府的不入