Дилджер родился в селении Энген в немецком Шварцвальде, в семье Эдуарда и Эмелины Дуэрр Дилджер. Мать его вскоре умерла, и отец сдал Дилджера в приют, откуда его забрали дядя с тётей. Ему было 12 лет, когда в Германии произошла Революция 1848 года, и многие немцы бежали в Америку, включая некоторых родственников Дилджера.