Era filho de Quinto Fábio Máximo Serviliano, cônsul em 142 a.C., ele próprio adotado da gente Servília pela gente Fábia, um dos dois filhos adotivos do próprio Fábio Máximo. Dois de seus tios paternos — Cneu Servílio Cepião e Quinto Servílio Cepião — serviram como cônsules em 141 e 140 respectivamente. Um primo, Quinto Servílio Cepião, foi cônsul em 106 a.C. e co-comandante na Batalha de Aráusio no ano seguinte. Este primo era o avô de Servília Cepião, amante de Júlio César.