国民党清党，到8月「宁汉分裂」蒋下野。1927年，宁汉分裂时，胡支持蒋介石，与其合作共组南京国民政府，主持南京工作，参与反共清党，后任立法院院长等职。第二次胡蒋合，是从1928年10月南京国民政府改组，到1931年2月「汤山事件」。1928年1月，与孙科与伍朝枢赴英国、德国等地考察。1930年10月3日，蒋发表「江电」，提出召开国民会议、制定新约法等一系列政治主张，但遭到胡汉民强烈反对。胡汉民坚持维护《中华民国临时约法》，认为制定新约法就是在破坏孙文遗教；同时张学良在中原大战支持蒋，对蒋最终获胜贡献不可