Kühlmann nimitettiin Saksan ulkoministeriksi Arthur Zimmermannin seuraajana 6. elokuuta 1917. Hän johti Saksan delegaatioita Brest-Litovskin rauhanneuvotteluissa maaliskuussa 1918 ja Bukarestin rauhanneuvotteluissa saman vuoden toukokuussa. Kühlmann halusi Saksan hallituksen luopuvan täydellisesti kaikista aluelaajennusvaatimuksista. Hän vastusti myös muun muassa saksalaisten joukkojen lähettämistä Suomen sisällissotaan. Kühlmannin varovainen linja kuitenkin hävisi laajoja aluevalloituksia itärintamalla kannattaneen Saksan ylimmän sodanjohdon Oberste Heeresleitungin linjalle ja päämajoitusmestari Erich Ludendorff pyrki hankkiutumaan hänestä eroon. Valtiopäiville 24. kesäkuuta 1918 pitämässään huomiota herättäneessä puheessa Kühlmann ilmoitti, että sotaa ei voitaisi voittaa pelkästään aseellisin keinoin. Tämän jälkeen sotilasjohto painosti hänet eroamaan ulkoministerin tehtävistä 9. heinäkuuta. Hänen seuraajakseen tuli Paul von Hintze, joka jatkoi samaa varovaista linjaa.