再度出山，进入国民党中央委员会担任秘书处主任，随后，孙运璇因脑溢血辞退行政院院长，俞国华奉命组阁，吴伯雄接替林洋港首席部长——内政部长的职务，当时吴伯雄45岁，成为行宪以来最年轻的内政部长（后被余政宪超越）。在内政部长任内，最先出现的政策是治理治安：「一清专案」清剿黑帮人物。在「开放党禁」方面，「人民团体组织法」、「劳工法」、「选罢法」、「动员戡乱时期集会游行法」这些民主化的相关法案，便都是于吴伯雄当时任内政部长时所改革完成的。虽然这些诸法于时过二十年的今日来看，有的虽已不合时宜，尚待朝野共同修正(例如