Faits : A. A.a. A._ est au bénéfice du revenu d'insertion (RI) depuis le mois de septembre 2011. Il perçoit un forfait "entretien et intégration sociale" pour personne seule, un supplément pour le loyer et un forfait "frais particuliers". Le 14 octobre 2011, le Service de la sécurité civile et militaire du canton de Vaud (SSCM) a notifié à A._, déclaré inapte au service militaire le 4 avril 2007, une décision fixant la taxe d'exemption du service obligatoire pour l'année 2010 à 400 fr., auxquels s'ajoutaient les intérêts courus, soit 5 fr. 20. Cette décision n'a pas été contestée. Par décision du 8 mai 2012, le SSCM a rejeté la demande de remise de la taxe déposée par l'intéressé le 20 mars 2012, mais lui a accordé le droit de payer le montant en quatre acomptes mensuels de 100 fr. Par arrêt du 25 septembre 2012, le Tribunal cantonal vaudois a rejeté le recours déposé par l'intéressé contre la décision du 8 mai 2012. A._ a recouru contre ce jugement devant le Tribunal fédéral, lequel l'a déclaré irrecevable par arrêt du 31 octobre 2012 (2C_1069/2012). A.b. Par décision du 22 juillet 2013, le Centre B._ a rejeté la demande de prise en charge de la taxe d'exemption formulée par l'intéressé le 29 mai 2013. Le Service de prévoyance et d'aide sociale du canton de Vaud (SPAS) a rejeté le recours interjeté par A._ contre la décision du 22 juillet 2013 (décision du 19 septembre 2013). B. Par arrêt du 12 février 2014, le Tribunal cantonal, Cour de droit administratif et public, a rejeté le recours déposé par l'intéressé contre la décision du 19 septembre 2013. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'annulation de la décision du SPAS du 19 septembre 2013 ainsi qu'à la prise en charge de la taxe d'exemption à partir de septembre 2011, respectivement à l'augmentation de ses prestations d'aide sociale dès cette date, le tout sous suite de frais et dépens. Il requiert en outre le bénéfice de l'assistance judiciaire gratuite. Le SPAS conclut au rejet du recours.