徐的禁烟运动，并支持关天培在第一次鸦片战争初期的抵抗活动。林则徐被撤职后，怡良曾短暂署理两广总督一职。琦善出任两广总督后，要求怡良专管地方政务，遂与之产生矛盾，道光21年（1841年）正月，怡良毅然独力上疏，揭发琦善私自割让香港，导致琦善被治罪。其后因与杨芳联名奏请准予印度商人通商，被革职留任。后于八月被任命为钦差大臣会办福建军务，查实了闽浙总督颜伯焘失守厦门的经过。道光22年（1842年），怡良被实授闽浙总督，在任内由于担心受到英国军队的袭击，并急于索回被英国占领的鼓浪屿，屡次强令台湾守将达洪阿和姚莹