Robbie Robertsons far, Alexander David Klegerman, var en profesjonell gambler og medlem i en forbryterbande. Moren, Rosemarie Dolly Chrysler, var irokeser, av dels mohawkstammen og cayugastammen. Den mann han i barndommen oppfattet som sin far, var fabrikkarbeider James Patrick Robertson, morens ektemann. Klegerman omkom i en bilulykke før Robbie var født og Robbie fikk ikke vite om sine biologiske far før i tenårene. Klegerman var av jødisk bakgrunn.