Через два тижні після підписання мирного договору між Фінляндією і СРСР після Зимової війни, в березні 1940 року Ківімякі був призначений послом в Берліні, і в цій посаді перебував до розриву дипломатичних відносин Фінляндії з Німеччиною 2 вересня 1944 року. У грудні 1940 Ківімякі балотувався на пост президента країни, поряд з Р. Рюті, але програв вибори. В останні місяці свого перебування в Берліні Ківімякі все менше слідував директивам президента Рюті. Зокрема, підписання пакту Рюті-Ріббентропа 26 червня 1944 року в Гельсінкі проходило без участі Ківімякі. Після закінчення Радянсько-фінської війни (1941—1944) за наполяганням радянської сторони був відданий під суд як військового злочинця і 21 лютого 1945 засуджений до п'яти років позбавлення волі.