上院議員を引退後の1997年から2001年までは2期目のクリントン政権で国防長官を務めた。1998年にアルカーイダによりタンザニアのダルエスラサーム、ケニアのナイロビでアメリカ大使館爆破事件が起きた数ヵ月後、イラクでのデザート・フォックス作戦の実施、ユーゴスラビアに対するアライド・フォース作戦の決定に関与した。2000年に欧州連合軍最高司令部最高司令官のウェズリー・クラークの解任を行っている。四年ごとの国防計画見直しでは冷戦終結によりF-22ラプター、F-18ホーネットなど戦闘機の購入費用を削減、陸軍を15,000人、空軍を26,900人、海軍を18,000人、海兵隊を1,500人、合計61,700人の削減をする決定を下した。また主に州兵からなる54,000人や民間部門80,000人の削減も決定した。またアメリカ軍内にあるレズビアンやゲイの治療、人種差別やセクシャルハラスメント問題にも取り組んだ。
福岡県山門郡瀬高町（現みやま市）出身。2歳の時に第二次世界大戦に従軍中だった父がフィリピン・レイテ島で戦死。女手一つで苦労する母親の姿を見て、政治家を志す。自民党の鬼丸勝之参議院議員の秘書を経て、1980年に衆議院議員に旧福岡3区から初当選（当選同期に久間章生・森田一・川崎二郎・平沼赳夫・高村正彦・柿沢弘治など）。以来、小選挙区制での福岡7区を含めて連続10回当選。野中広務とは派閥は違うが師弟関係にある（衆院選初当選は古賀の方が約3年早い）。建設政務次官、自民党建設部会長、衆議院建設委員長、自民党総務局長を経て1996年、第2次橋本内閣の運輸大臣として初入閣。自民党では名門派閥の宏池会（鈴木善幸→宮澤喜一→加藤紘一派）に属し、当選同期の川崎二郎、1期上の白川勝彦と共に加藤紘一の側近とも見られていたが、2000年に起きた「加藤の乱」に際しては当時幹事長職にあった野中の意向に沿って反加藤として動き、加藤と決別して堀内派の結成に奔走。加藤の乱の後で、野中に禅譲される形で自民党幹事長に就任。2001年以降の小泉純一郎政権下では道路公団民営化反対派の中核となるなど、野中、亀井静香らと並んで「抵抗勢力」側の代表的な政治家の一人とみなされるようになる。道路族の有力議員であり、道路特定財源の一般財源化に反対した。他方、小泉側も古賀に度々財務大臣や外務大臣などの重要閣僚での入閣を打診したと報じられ、古賀の取り込みに腐心していた時期もあった。2005年の郵政国会では、亀井や綿貫民輔らと法案反対の動きを見せていたが、土壇場の衆議院本会議採決では採決直前に退席し、棄権。その後の第44回衆議院議員総選挙では弁明書を提出し公認候補として党内に残り当選するものの、影響力は低下した。2005年12月には、族議員としての有力な権力基盤である道路調査会の会長ポストを石原伸晃に明け渡した。2006年2月には、派内の反対派と妥協する形で丹羽雄哉と共に宏池会の共同代表となる。ただし、小泉首相の事実上の後継者である安倍晋三が後継総裁に有力視される中、派は丹羽や柳澤伯夫らも主導権を奪い合っているために派を一本化できておらず、実際、同年の自民党総裁選挙では、かつて側近として仕えた加藤の後継者である谷垣禎一、「士志の会」を結成するなど親しい関係にある麻生太郎ではなく、派の方針に従い安倍を支持した。同じ福岡県選出の衆議院議員である麻生とは地元での対立の先鋭化も一部から指摘されていた。しかし、安倍が総裁に選ばれるや否や、「宏池会の理念と安倍の理念とは大きな溝がある」という旨の発言をし、距離を置いた。一方、安倍内閣成立の論功行賞で、丹羽が総務会長就任により派閥を離れると、機先を制して丹羽・古賀派の共同代表から単独会長に就任。マスコミも、これを機に呼称を古賀派へ改称した。当選同期の太田誠一をはじめ派内幹部の多くと若手に支持されているとみられ、自身の選挙対策委員長就任後も実権を握っている。地元では党の福岡県支部連合会の会長として、党勢の維持・拡大に努めてきた。しかし、2006年から相次いで行われた福岡市と北九州市の市長選挙で、政府・与党推薦の候補が相次いで敗れたため、「幹事長が即辞めたのに自分が残るわけにはいかない」として、一部の反対の声を押し切り、2007年2月、県連会長を辞任した。残任期間は原田義昭衆議院議員が務めた。同年9月、安倍の辞任表明を受けて行われた2007年自由民主党総裁選挙では麻生太郎と町村派の福田康夫が立候補したが、古賀は「福田先生の方が政治信条が近いと思います」と福田支持をいち早く表明し、山崎派や谷垣派などと連携を行って、麻生包囲網で重要な役割を果たした。9月23日に総裁に就任した福田康夫から総務会長の就任を打診されたが、選挙の取り仕切りを希望したため、選挙対策委員長への就任に決まった。党新役員記者会見では「党四役」という表現が使われ、古賀もその一員として記者会見に臨んでいる。なお、古賀は選挙対策委員長の就任理由について「自分が適任だと思ったから」と述べている。しかし、2008年7月に福田が辞意を表明し、2008年自由民主党総裁選挙で麻生が最有力候補と見なされると、古賀は麻生支持を表明。麻生執行部では選挙対策委員長に再任された。国政選挙での党公認候補選定を左右する選挙対策委員長に就任したことによって、一部から裏幹事長と呼ばれるようになった。旧来は選挙に関する党の権限を総裁・幹事長のラインが有していたことが、選挙対策委員長が党三役と同格になったことから、幹事長から権限の一部を奪う形にならざるをえず、福田執行部では伊吹文明幹事長との権限争いが注目された。また、衆院選の自民党候補者調整に関して、新規コスタリカの導入での解決には慎重な姿勢を示し、自民党は大物民主党幹部と対決するいくつかの選挙区において行われていた自民党候補の比例上位に優遇措置の継続については「相手が強いから当選圏内を与えて候補者を公認するという手法が一つの知恵で行われてきたが、党勢を拡大するうえでプラスになるのか。戦わずして一歩引いている側面もあり、よく考える必要がある」と否定的な見解を示した。