后因与杨芳联名奏请准予印度商人通商，被革职留任。后于八月被任命为钦差大臣会办福建军务，查实了闽浙总督颜伯焘失守厦门的经过。道光22年（1842年），怡良被实授闽浙总督，在任内由于担心受到英国军队的袭击，并急于索回被英国占领的鼓浪屿，屡次强令台湾守将达洪阿和姚莹交还英军战俘。次年奉命入台，以“冒功”为名将达洪阿和姚莹逮捕，制造了台湾冤案，不久去职。咸丰2年（1852年）被起复任为福州将军，次年转任两江总督，7年（1857年）因病解职。怡良病逝于同治6年（1867年）。