Madison estudió en el Bakersfield College durante dos años y después trabajó brevemente como empleado telefónico antes de ingresar en la Guardia Costera de los Estados Unidos en 1942.