Nel 1862, dopo Aspromonte, i Comitati di provvedimento furono sciolti d'autorità e l'Apolloni nell'agosto 1862 subì una perquisizione in casa e l'arresto per detenzione di armi. Di conseguenza, nel settembre 1862, con ordinanza del prefetto, l'Apolloni fu sospeso dall'incarico che aveva presso l'ospedale di Sant'Andrea con l'accusa di aver eccitato la gioventù massetana contro il Governo, e allontanato da Massa Marittima. Costretto a trasferirsi altrove visse per qualche anno a Porto Santo Stefano. Nel 1866 l'Apolloni viveva a Cecina quando insieme a molti altri volontari si arruolò nell'esercito di Garibaldi per le operazioni in Tirolo nella guerra per Venezia contro l'Austria, guadagnando una medaglia al valore. Nel 1867 si unì con Nicola Guerrazzi alla disastrosa spedizione garibaldina per la conquista di Roma che finì con la sconfitta di Mentana.