Han var sønn av bankmannen Alfred Sevareid og hustru Clara Hougen, som begge var andregenerasjons norsk-amerikanere. Sevareid ble født i Velva i Nord-Dakota. Etter at banken i Velva gikk under i 1925, flyttet familien til Minot, og i 1925 til Minneapolis i Minnesota, der de bosatte seg i 30th Avenue North. Han gikk på Central High School i Minneapolis. . Like etter High School la han og en kamerat ut på en 360 mil lang kanotur fra Minneapolis til York Factory ved Hudson Bay, en tur som var sponset av Minneapolis-avisen .