Klug ble født i Želva i Litauen. Foreldrene var jødiske og het Lazar og Bella (født Silin) Klug. Sammen med sine foreldre flyttet han til Sør-Afrika da han var to år gammel.