十七岁，婚后常住娘家。干隆二十一年（1756年）夏，选为军机处行走，两次跟随干隆出塞，参与机要，颇受军机大臣傅恒的器重。干隆二十六年（1761年）一甲第三名进士（探花）。授翰林院编修。历任广西镇安府知府、广东广州府知府、贵州贵西兵备道。干隆三十六年（1772年）以母病辞官归里，主讲安定书院，潜心读书。干隆五十二年（1787年）台湾发生林爽文之乱，闽浙总督李侍尧邀请赵翼入幕府商研；当时台湾总兵柴大纪欲从嘉义突围内渡。赵翼恐弃守城池易引发连锁反应，力劝闽督封还此旨；不久，干隆帝命钦差大臣福康安率兵援台，遂能与守