Urodził się i dorastał w Minneapolis, w stanie Minnesota. Jego rodzicami byli Niemka Ruth Duesler Salisbury Aurness i pochodzący z Norwegii Rolf Cirkler Aurness. Wychowywany był w wierze metodystów. Jego młodszy brat Peter Graves został także aktorem. Uczęszczał do John Burroughs Grade School, Washburn High School i West High School w Minneapolis. Kiedy wybuchła II wojna światowa, chciał zostać pilotem marynarki wojennej, ale ogromny wzrost go zdyskwalifikował. Zamiast tego wstąpił do armii i otrzymał fioletowe serce po doznaniu poważnych obrażeń prawej nogi podczas inwazji na Anzio we Włoszech w 1944. Jego obrażenia sprawiły, że był hospitalizowany przez prawie rok i przez ten czas słyszał od pielęgniarek, że swoim grzmiącym głosem powinien pracować w radiu. Poszedł do pracy jako spiker i disc jockey na stacji w Minneapolis, a potem postanowił spróbować szczęścia w Hollywood. Ukończył Beloit College w Beloit w Wisconsin.