Lite er kjent om Filips tidligste år og politiske karriere. Han ble født i hva som i dag er Shahba (senere kjent som Philippopolis), en by rundt 68 km sør for Damaskus. Han var en fjern slektning av Baleed-familien, en framstående familie i Aleppo. På denne tiden en del av den romerske provinsen Arabia Petraea, således skaffet stedsnavnet ham tilnavnet «araberen», ikke på grunn av at han tilhørte folkegruppen arabere. Han var sønn av en lokal borger, muligens av en viss betydning.