国桢地位不再重要，与蒋经国与彭孟缉的特务系统也不断发生冲突。1952年，台湾第二次市县长和市县议会的选举在即，吴国桢在台北建立培训学校，轮番培训从各区选出的民众代表，此举引发蒋氏父子高度不满。台湾火柴公司总经理王哲甫无辜被捕，吴下令放人。台湾保安副司令彭孟缉执行蒋经国命令，坚不放人，先判死刑；由于吴的反对，经蒋中正出面，改判七年徒刑。吴国桢已完全无法再与蒋经国共事，蒋中正曾派黄伯度传话，许以行政院长之职，要吴好好与蒋经国合作，愿当院长兼省主席亦可。但吴一概拒绝，偕妻上日月潭，声言非辞职照准不下山。1952年