Han ble født i en jødisk middelklassefamilie i Hamburg. Foreldrene var innvandret fra Danmark. Ballin var en av de mest betydningsfulle troende jøder i det tyske monarkiet, og en ivrig tysk patriot.