Welhaven ble arrestert av tyskerne den 12. september 1941 og satt på Grini frem til 19. januar 1943. Han ble da overført til Tyskland der han satt i fangenskap til 1945, først i Gestapo-fengselet i Prinz-Albrecht-Straße i Berlin, og deretter i Landsberg am Lech i Bayern sammen med kona Margit og datteren Gerda. Didrik Arup Seip og kona, som var i en lignende situasjon, besøkte Welhaven-familien i Landsberg i 1943. I mars 1945 ble familien tatt til Groß Kreutz utenfor Berlin av Johan Bernhard Hjort, som også hadde fått familien sin internert. I april ble de tatt til Sverige av De hvite bussene.