则徐被撤职后，怡良曾短暂署理两广总督一职。琦善出任两广总督后，要求怡良专管地方政务，遂与之产生矛盾，道光21年（1841年）正月，怡良毅然独力上疏，揭发琦善私自割让香港，导致琦善被治罪。其后因与杨芳联名奏请准予印度商人通商，被革职留任。后于八月被任命为钦差大臣会办福建军务，查实了闽浙总督颜伯焘失守厦门的经过。道光22年（1842年），怡良被实授闽浙总督，在任内由于担心受到英国军队的袭击，并急于索回被英国占领的鼓浪屿，屡次强令台湾守将达洪阿和姚莹交还英军战俘。次年奉命入台，以“冒功”为名将达洪阿和姚莹逮捕