Han ble igjen statsminister 21. oktober 2004, og gikk av 28. februar 2005 etter protester som følge av drapet på den forrige statsministeren, Rafic Hariri. Etter mordet på Rafiq Hariri i 2005, beskyldte opposisjonen Syria for å stå bak drapet, og krevde at Syria trakk sine militære styrker ut av Libanon, noe den den Syria-vennlige regjeringen med Karami i spissen ikke gikk med på. Enkelte av de opposisjonelle lederne gikk så langt som å beskylde Karamis regjering for å ha vært direkte innblandet i drapet.