Inició su carrera política sirviendo como Tribunus Militum en 134-132 a. C., durante la Guerra contra Numancia, a las órdenes de su pariente, y más tarde enemigo, Publio Cornelio Escipión Emiliano, al tiempo que su hermano Tiberio Sempronio Graco desempeñaba el puesto de tribuno de la plebe, desarrollando las medidas de reforma agraria.