Desde pequeño, Fossett mostró una inclinación especial hacia la aventura, siendo miembro de los scouts dentro del Comité Scout Mundial, y de la Royal Geographical Society.