李自成破北京，威宗自缢殉国。安宗监国时任礼部尚书兼文渊阁大学士，为马士英、阮大铖所排斥，是年十月，弘图四疏乞休获准。流寓会稽（今浙江绍兴）。弘图在内阁时，马士英尚畏之，不敢放肆，一旦去职，遂无忌惮。清军攻陷山东，弘图流寓吴门，渡江入浙东。弘光元年（清顺治二年，1645年），清军破杭州，携一幼孙逃入一野寺中，绝食九日，卒于会稽之竹园。有子高朗。
着作.有《太古堂集》。