Ernst Wollweber var sønn av en snekker. Som 15-åring, etter folkeskolen, tok han hyre som jungmann og tømmerfløter på elven Weser, som har sitt utgangspunkt der to andre elver, Werra og Fulda, flyter sammen i hans fødeby. Under første verdenskrig, fra 1916 til 1918, tjenestegjorde han i den keiserlige marines ubåtavdeling.