El seu pare era un home molt ric del nord d'Itàlia, un terratinent del Picenum. La seva família no formava part de les antigues famílies que van dominar la política romana. Malgrat això el seu pare va promocionar mitjançant el tradicional "cursus honorum" essent qüestor al 104 aC, pretor al 92 aC, i cònsol al 89 aC. A l'edat de 17 anys Pompeu ja estava completament implicat en els assumptes polítics i militars del seu pare des del 89 aC. El seu pare va morir als conflictes entre Gai Mari i Luci Corneli Sul·la, deixant al seu fill el control dels seus assumptes i la seva fortuna. Pompeu va estar present a la batalla de Porta Col·lina, poc després la seva casa a Roma fou saquejada pels populars i no va poder aparèixer en públic fins a la mort de Mari el 86 aC. Acusat de participar en el saqueig d'Asculum fet pel seu pare, fou absolt després de casar-se amb Antístia, la filla del president del tribunal.