I sin ungdom var Schwalm en vandrer. Han studerte ved Technische Hochschule Berlin-Charlottenburg og deretter ved Humboldt-Universität zu Berlin, hvor han studerte geografi, geologi, fysikk og matematikk. Han ble deretter assistent ved Universitetet i Heidelberg. Han studerte i tillegg historie, kunsthistorie, økonomi og filosofi og ble i 1927 doktor i filosofi med avhandlingen .