致王宠惠内阁辞职，史称“罗文榦案”。次年6月无罪释放。蔡元培曾为此愤而辞职。当时顾维钧被摄政国务总理高凌霨任命为外交部长时也曾表示，罗文榦案不澄清，绝不上任。1928年被聘为东北边防司令长官公署顾问。1931年担任国民政府司法行政部长，1932年兼外交部长等职。1932年5月审判共产国际特工牛兰夫妇事件中，反对宋庆龄、蔡元培保释被告。1933年5月，在《塘沽停战协定》签字后，呈请辞职，经蒋中正挽留，直到12月2日，最终辞去外长职位。1934年10月又辞去司法行政部长职务。1938年任国防参议会参议员、国