3年宋楚瑜出任台湾省政府主席后，积极为参选台湾省长而舖路，而吴伯雄同时也有意参选台湾省长。甚至说出「就算只剩阿里山，也要选到底」豪语。1994年中华民国举行第一届省直辖市长选举，吴伯雄积极表态角逐国民党内的台湾省长候选人提名，据传闻当时的国民党主席李登辉属意的是时任台湾省政府主席的宋楚瑜。吴伯雄虽雄心壮志，但为避免国民党因分裂败选，遂宣佈退出初选，让宋楚瑜代表国民党参选，同时宣佈请辞内政部长。李登辉为此亲到吴伯雄家中，向吴父许诺「把吴伯雄带在身边」。最后，吴伯雄转任总统府秘书长，成为有史以来第一位台籍总