Ptolemaios og hans søster Drusilla var de eneste barna til Juba II og Kleopatra Selene II, og var blant de yngste barnebarna til Marcus Antonius. Via hans bestefar på morssiden var han en fjern slektning av Julius Cæsar og det julo-claudiske dynasti. Han var fetter av Germanicus og keiser Claudius og tremenning av keiser Caligula, keiserinne Agrippina den yngre, keiserinne Valeria Messalina og keiser Nero.