丰帝下诏斥曾望颜不能制贼，下部议处。给事中李培祜疏劾曾望颜任性妄为，滥保浮销，纵子干预。帝命陕甘总督乐斌偕署陕西巡抚谭廷襄查明。乐斌、谭廷襄覆奏曾望颜虽无赃私，但属吏多粗率谬误，不能约束子弟、仆人。部议褫职，命暂留署任。复为知府翁祖烈所讦，经成都将军崇实查明，辞复连子曾捷魁及其仆，乃命解任，仍留四川。十一年，回籍。同治元年（1862年），召回京师，以四品京堂候补。五年，补内阁侍读学士。九年，卒。