Speer fue un activo deportista que practicó esquí y alpinismo, y en su escuela en Heidelberg practicó rugby, deporte inusual en Alemania.