Hermann Balck ble født i bydelen Langfuhr i Danzig (dagens Wrzeszcz i Gdańsk, i Polen). Han var sønn av William Balck og hans kone Mathilde, pikenavn Jensen. Familien hadde lange militære tradisjoner, og hans far var høyere offiser (generalløytnant, tysk: Generalleutnant) i hæren til Det tyske keiserrike.