Herman Smith-Johannsen flyttet tilbake til Norge da han var 111 år gammel. Flytting til Nøtterøy, der sønnen Robert da bodde, er registrert den 19. september 1986. Siste året før Smith-Johannsen flyttet tilbake til Norge, bodde han på et aldershjem, men gikk daglige turer sommer som vinter. Han ble innlagt med influensa 26. desember 1986 og døde av lungebetennelse på sykehuset i Tønsberg like over nyttår. Den siste måneden av sitt liv var han verdens eldste levende mann. Herman Smith-Johannsen ble gravlagt ved kirken Saint-Sauveur i Piedmont, Quebec, ved siden av sin kone, som døde i 1963.