Han ble rammet av et slag 28. august 1940 og fratrådte 27. november samme år. Han ble etterfulgt av daværende statsminister Risto Ryti. Kallio døde 19. desember 1940 på Helsingfors jernbanestasjon, der han skulle ta avskjed med det offentlige liv og vende hjem til Nivala. Han segnet om mens et militærorkester spilte .