A pesar de que procedía de una familia noble y de gran fortuna, no estaba relacionado por adopción o nacimiento con los seis primeros "césares", los miembros de la dinastía Julio-Claudia, que aún lo llevaban como sobrenombre por derecho propio, más que como título, aunque su esposa era bisnieta del triunviro Lépido, cuya esposa era hermanastra de Bruto, el asesino de César, quien se casó con la hija de Catón el Joven, Porcia, tatarabuela del emperador Nerón.