Georg Wolff var sønn av folkeskolelærer Friedrich Wilhelm Wolff og hans ektefelle Dora. Hjemmet på morssiden tilhørte den bedre sosiale klassen, og bestefaren var "Rechnungsrat" ved jernbanen. Familien eide sitt eget hjem, og Wolff vokste opp sammen med sin to år eldre bror Hans i trygge forhold.