Kivimäki kuului niihin harvoihin suomalaisiin, jotka olivat etukäteen tietoisia Saksan tulevasta hyökkäyksestä itään ja Suomelle varatusta roolista siinä, mutta hän ei ollut kaikkein keskeisimmässä asemassa Suomen ja Saksan välisestä yhteistyöstä sovittaessa. Hän tuki suomalaisen SS-vapaaehtoispataljoonan perustamista keväällä 1941. Sodan alettua kesäkuussa 1941 Kivimäki lähetti pitkään Suomen hallitukselle optimistisia arvioita Saksan sotamenestyksestä, joskin muuttui vuoden 1943 Stalingradin tappion jälkeen hieman skeptisemmäksi. Yksi hänen tietolähteistään oli Heinrich Himmlerin henkilääkärinä toiminut suomalainen Felix Kersten, joka välitti hänelle tietoja Saksan ylimmän johdon sisäpiiristä. Kivimäkeä kaavailtiin Suomessa uudelleen pääministeriksi rauhanhallitukseen keväällä 1943 ja vielä elokuussa 1944, mutta hanke kariutui, sillä Kivimäki ei ollut halukas katkaisemaan suhteita Saksaan tai tunnustelemaan rauhaa Neuvostoliiton kanssa ilman saksalaisten hyväksyntää. Hän jatkoi lähettiläänä syyskuussa 1944 tapahtuneeseen Suomen ja Saksan suhteiden katkeamiseen saakka.