Ptolemaios var sønn av kong Juba II og dronning Kleopatra Selene II av Mauretania. Han hadde en yngre søster ved navn Drusilla av Mauretania. Hans far Juba II var sønn av kong Juba I av Numidia som nedstammet fra berberfolket i Nord-Afrika og var en alliert av den romerske triumvir Pompeius. Hans mor Kleopatra Selene II var datter av den ptolomeiske greske dronning Kleopatra VII av Egypt og den romerske triumvir Marcus Antonius. Ptolemaios var således av både berbisk, gresk, og romersk avstamning.