En 1865 el presidente Mitre, con acuerdo del Senado, lo nombró ministro de la Corte Suprema de Justicia, pero Gorostiaga renunció tres años después para ser elegido diputado nacional en las elecciones de 1868, que llevaron a Domingo Faustino Sarmiento a la presidencia.