二十四年（1391年），吏部侍郎侯庸弹劾79岁的刘三吾年老怠职，遂俸禄被减半，降为国子博士。此后辞职还乡。刘三吾为人坦荡，没有城府。当时懿文太子去世，其进言应当立皇孙为嫡系，此为建文帝确立之始。二十六年（1393年）二月，外孙单庆以府军前卫千户牵连蓝玉案被杀，女儿良玉被刺面后发配浆糨房为奴，户部尚书赵勉为刘三吾女婿，因事连坐而死，刘三吾免职隐退。次年九月又被命为大学士。洪武三十年（1398年），主持丁丑科会试，后发榜，宋琮为第一，上榜者没有一个出自北方。于是诸位考生认为刘三吾为南方人，照顾其乡亲。朱元璋