Gerlach ble født den 1. august 1889 i Wiesbaden. Han begynte studier i fysikk ved Universitetet i Tübingen i 1908. Fire år senere mottok han sin doktorgrad basert på eksperimentelle undersøkelser av sort stråling, under ledelse av Friedrich Paschen. Han arbeidet videre der som assistent til Paschen inntil han ble trukket inn i første verdenskrig. På grunn av sykdom ble han etter en stund permittert og kunne gjøre ferdig sin habilitation i 1916 før han måtte fortsette ved fronten.