Siegfried Passarge var sønn av forfatteren Ludwig Passarge, kjent for sine reiseskildringer. Han studerte geografi i Berlin og Jena. Han tok også medisinsk utdannelse, og virket som lege under sin militærtjeneste.