Nato da una famiglia di lontana origine greca, Mitre trascorse parte della sua giovinezza tra Buenos Aires e Carmen de Patagones, dove il padre, unitario, ricopriva l'incarico di tesoriere. A quattordici anni venne impiegato per un breve tempo in una delle proprietà del fratello del dittatore Juan Manuel de Rosas. Nel 1831 con la famiglia, apertamente antirosista, lasciò l'Argentina alla volta di Montevideo. Successivamente s'iscrisse alla scuola militare arruolandosi poi nell'artiglieria dell'esercito locale. Una volta scoppiata la guerra civile uruguaiana, Mitre si arruolò nelle fila dei "colorados", storici alleati degli "unitarios" argentini, prendendo parte alla battaglia di Cagancha nell'ottobre 1839. In questi stessi anni, accanto alla carriera militare, egli iniziò anche ad esercitare la professione di giornalista, scrivendo su alcuni periodici uruguaiani tra cui "El Iniciador". Dopo la sconfitta di Arroyo Seco del 1842, Mitre prese parte alla difesa di Montevideo, occasione in cui conobbe Giuseppe Garibaldi.