Mannhardt ble født i Slesvig. I femårsalderen flyttet han med sine foreldre til havnebyen Danzig (nå: Gdańsk), hvor faren, som var mennonittprest, fikk en stilling predikant. Her var det at gutten vokste opp. Alt i barndommen var han plaget av ryggproblemer, komplikasjoner med hjertet og astma. Dette var alle sykdommer han i varierende grad led av hele livet igjennom. Mannhardt var kortvokst og svak, og lå derfor ofte i månedsvis i strekk til sengs.