Грисъм е роден на 3 април 1926 г. в Митчъл, Индиана, САЩ. През 1944 г. завършва летателна школа и взема участие във Втората световна война. След войната завършва Университета Пардю (Purdue University) в щата Индиана през 1950 г., където получава бакалавърска степен. После е изпратен в Южна Корея и взима участие в т. нар. Корейска война, през която извършва около 100 бойни полета. След това работи като летец-инструктор. През 1957 г. завършва училище за летци-изпитатели във Военновъздушната база Едуардс (Edwards Air Force Base).