Filon var antagelig født Julius Filo(n). Han kom fra en aristokratisk familie som hadde levd i Alexandria i Egypt i generasjoner. Hans forfedre og familie var samtidige med styret til Ptolemeerdynastiet og Selevkidriket. Selv om navnene på hans foreldre ikke erkjent, er det klart at de var adelige og velstående. Det var enten hans far eller bestefar som fikk romersk statsborgerskap av keiser Julius Cæsar. Filon hadde to brødre; Alexander alabarken og Lysimachus.