Da Hitlers Tyskland hadde innledet invasjonen av Polen 1. september 1939 kom det en strøm av polske flyktninger til de omkringliggende landene. Rørholt dro da til Latvia og Litauen som representant for det internasjonale Røde Kors, for å bistå de lokale Røde Kors-foreningene i arbeidet med å hjelpe flyktningene fra Polen.