Smith-Sørensen hadde ingen barn, men overlot ledelsen av rederiet til sine forstersønner Anders B Smith-Krøger, Hans Magnus Smith-Gunvaldsen og Birger Smith-Sørensen på 1960-tallet.