Rolf Sevaldsen ble født i Kristiansund som sønn av bakermester Kasper Sevaldsen og Martha Aspen. Han ble døpt og konfirmert i Nordlandet kirke i Kristiansund. Ved utbruddet av andre verdenskrig i 1940 ble Kristiansund bombet av tyskerne, og Sevaldsen og hans familie ble evakuert til Batnfjord. I april 1941 ble han beordret til arbeid på Ørlandet flyplass via arbeidskontoret, men reiste kort tid etter til sin søster i Trondheim, hvor han begynte som lærling ved et smelteverk. Det var i denne perioden han meldte seg frivillig til fronttjeneste etter eget initiativ, motivert av en dyp antipati mot bolsjevismen som han utviklet under vinterkrigen mellom Finland og Sovjet i 1939-1940. Sevaldsen meldte seg til den norske legion i juli 1941, og etter legeundersøkelse ble han sendt til Tyskland for militær utdanning.