Faits :
A.
A.a. A._ est au bénéfice du revenu d'insertion (RI) depuis le mois de septembre 2011. Il perçoit un forfait "entretien et intégration sociale" pour personne seule, un supplément pour le loyer et un forfait "frais particuliers".
Le 14 octobre 2011, le Service de la sécurité civile et militaire du canton de Vaud (SSCM) a notifié à A._, déclaré inapte au service militaire le 4 avril 2007, une décision fixant la taxe d'exemption du service obligatoire pour l'année 2010 à 400 fr., auxquels s'ajoutaient les intérêts courus, soit 5 fr. 20. Cette décision n'a pas été contestée.
Par décision du 8 mai 2012, le SSCM a rejeté la demande de remise de la taxe déposée par l'intéressé le 20 mars 2012, mais lui a accordé le droit de payer le montant en quatre acomptes mensuels de 100 fr. Par arrêt du 25 septembre 2012, le Tribunal cantonal vaudois a rejeté le recours déposé par l'intéressé contre la décision du 8 mai 2012. A._ a recouru contre ce jugement devant le Tribunal fédéral, lequel l'a déclaré irrecevable par arrêt du 31 octobre 2012 (2C_1069/2012).
A.b. Par décision du 22 juillet 2013, le Centre B._ a rejeté la demande de prise en charge de la taxe d'exemption formulée par l'intéressé le 29 mai 2013. Le Service de prévoyance et d'aide sociale du canton de Vaud (SPAS) a rejeté le recours interjeté par A._ contre la décision du 22 juillet 2013 (décision du 19 septembre 2013).
B.
Par arrêt du 12 février 2014, le Tribunal cantonal, Cour de droit administratif et public, a rejeté le recours déposé par l'intéressé contre la décision du 19 septembre 2013.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à l'annulation de la décision du SPAS du 19 septembre 2013 ainsi qu'à la prise en charge de la taxe d'exemption à partir de septembre 2011, respectivement à l'augmentation de ses prestations d'aide sociale dès cette date, le tout sous suite de frais et dépens. Il requiert en outre le bénéfice de l'assistance judiciaire gratuite.
Le SPAS conclut au rejet du recours.

Considérant en droit :
1.
La décision attaquée étant rédigée en français, le présent arrêt sera rendu dans cette langue conformément à l'<ref-law> même si le recours a été valablement libellé en allemand (cf. <ref-law>).
2.
Le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Cependant, il ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant, selon le principe d'allégation (<ref-law>; <ref-ruling> consid. 3.3 p. 310 s.; <ref-ruling> consid. 3.2 p. 88). En revanche, sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), l'on ne peut invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (<ref-law> e contrario). Il est néanmoins possible de faire valoir que son application consacre une violation du droit fédéral, comme la protection contre l'arbitraire (art. 9 Cst.) ou la garantie d'autres droits constitutionnels. Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 2.5 p. 314; arrêt 2C_668/2013 du 19 juin 2014 consid. 2.1).
3.
La loi du 2 décembre 2003 sur l'action sociale vaudoise (LASV; RSV 850.051) a pour but de venir en aide aux personnes ayant des difficultés sociales ou dépourvues des moyens nécessaires à la satisfaction de leurs besoins indispensables pour mener une existence conforme à la dignité humaine. Elle règle l'action sociale qui comprend la prévention, l'appui social et le revenu d'insertion (RI; art. 1 al. 1 et 2 LASV). Le RI comprend une prestation financière et peut, cas échéant, également comprendre des prestations sous forme de mesures d'insertion sociale ou professionnelle (art. 27 LASV). Selon l'art. 31 al. 1 LASV, la prestation financière est composée d'un montant forfaitaire pour l'entretien, d'un montant forfaitaire destiné à couvrir les frais particuliers pour les adultes et d'un supplément correspondant au loyer effectif dans les limites fixées par le règlement. Les frais d'acquisition du revenu et d'insertion, de santé, de logement et les frais relatifs aux enfants mineurs dans le ménage, dûment justifiés, peuvent être payés en sus des forfaits entretien et frais particuliers (art. 33 LASV). L'art. 22 al. 2 du règlement d'application du 26 octobre 2005 de la LASV (RLASV; RSV 850.051.1) détaille ces frais.
Selon la pratique cantonale, le 75 % du forfait d'entretien et d'intégration sociale représente le minimum vital absolu (noyau intangible). Il est destiné à couvrir des besoins essentiels et vitaux tels que nourriture, vêtements, santé, électricité. Ce montant ne peut être réduit (cf. Département de la santé et de l'action sociale du canton de Vaud, Service de prévoyance et d'aide sociales, Revenu d'insertion, Normes 2013, ch. 2.1.2.4).
Le département cautionne, sur demande des autorités d'application, l'allocation par celles-ci d'aides financières exceptionnelles (art. 7 let. l LASV). Des prestations ne figurant pas à l'art. 22 al. 2 RLASV ou dont le montant dépasse les limites fixées par le département peuvent en outre être allouées à titre exceptionnel lorsque le requérant fait valoir un besoin particulier et impérieux en rapport avec son état de santé, sa situation économique ou familiale, son insertion ou pour garantir l'économicité du dispositif. Le SPAS doit valider l'octroi de telles prestations (art. 24 RLASV).
4.
4.1. Dans un premier grief de nature formelle, le recourant se plaint tout d'abord d'un défaut de motivation de la décision attaquée (art. 29 Cst.). Il fait valoir que la juridiction cantonale aurait omis de se prononcer sur son grief concernant l'inégalité de traitement, respectivement la discrimination dont il serait victime et de s'être, à la place, prononcé sur la constitutionnalité de la taxe d'exemption du service obligatoire, question que le recourant n'aurait pas soulevée et qui ne se poserait selon lui du reste pas dans le cas d'espèce.
4.1.1. Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique notamment l'obligation pour le juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Il suffit cependant, selon la jurisprudence, que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il n'est toutefois pas tenu d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties. Il n'y a violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner et de traiter les problèmes pertinents (<ref-ruling> consid. 5.1 p. 237 et les références).
4.1.2. L'arrêt attaqué comporte une motivation qui satisfait aux exigences de l'art. 29 al. 2 Cst. Les juges vaudois ont exposé les motifs qui, selon eux, justifiaient qu'un homme de nationalité suisse au bénéfice de l'aide sociale et astreint au paiement de la taxe d'exemption du service obligatoire n'obtienne pas de prestations du revenu d'insertion majorées du montant de la taxe en question. Par ses critiques, c'est en réalité ce raisonnement que le recourant reproche à la Cour cantonale. On doit dès lors admettre qu'il a pu contester utilement le jugement attaqué.
4.2. Le recourant se plaint en outre d'un déni de justice au motif que les instances précédentes auraient omis d'examiner s'il avait droit à l'allocation d'un supplément correspondant au montant de sa taxe d'exemption afin de garantir "l'économicité du dispositif" au sens de l'art. 24 RLASV. Ce grief est mal fondé. Après avoir considéré que le recourant pouvait utiliser la part de son forfait "entretien et intégration sociale" qui ne relevait pas du strict minimum vital pour faire face au paiement de la taxe et qu'il avait en outre une excellente gestion de budget, les premiers juges ont conclu que le recourant ne remplissait pas les conditions de l'art. 24 RLASV.
5.
En substance, le litige revient à se demander si les autorités d'aide sociale cantonale doivent prendre en charge la taxe d'exemption due par le recourant.
5.1. A titre préliminaire, il convient de relever que l'octroi de l'aide aux personnes dans le besoin relève essentiellement de la compétence cantonale, sauf exceptions qui n'entrent pas en considération ici (cf. les art. 40 al. 2, 114 al. 5 et 121 al. 1 Cst.). Le législateur fédéral n'impose donc nullement aux cantons de prendre en charge des prestations circonstancielles, en particulier la taxe d'exemption de l'obligation de servir. Le droit fondamental à obtenir de l'aide dans des situations de détresse prévu à l'art. 12 Cst. ne garantit pas un revenu minimum, mais uniquement la couverture des besoins élémentaires pour survivre d'une manière conforme aux exigences de la dignité humaine, tels que la nourriture, le logement, l'habillement et les soins médicaux de base (<ref-ruling> consid. 3.2 p. 276 et les références).
5.2.
5.2.1. Se prévalant d'une inégalité de traitement (art. 8 al. 1 et 3 Cst.) et d'une discrimination indirecte (art. 8 al. 2 Cst.), le recourant prétend qu'il serait désavantagé par rapport aux autres bénéficiaires de l'aide sociale non astreints au paiement de la taxe d'exemption. Il fait valoir que le 25 % du forfait d'aide sociale est destiné à couvrir des besoins qui ne relèvent certes pas du strict minimum vital mais qui sont néanmoins indispensables au maintien d'une existence respectant la dignité humaine, tels que communications à distance, intégration sociale, activités culturelles et sportives, équipement personnel. Il se voit plus particulièrement discriminé par rapport aux femmes et aux hommes étrangers bénéficiant du même forfait d'aide sociale que lui car contrairement à ces derniers, il doit consacrer une partie de son forfait au paiement de la taxe d'exemption.
5.2.2. L'art. 8 al. 1 Cst. pose le principe général de l'égalité de traitement. Selon l'art. 8 al. 2 Cst., nul ne doit subir de discrimination du fait notamment de son origine, de sa race, ou de son sexe, ni du fait d'une déficience corporelle, mentale ou psychique. L'art. 8 al. 3, première phrase, consacre l'égalité de droit entre hommes et femmes.
5.2.3. Comme l'ont relevé les premiers juges, la réglementation sur l'aide sociale vaudoise ne prévoit pas la prise en compte de la taxe d'exemption de l'obligation de servir dans les prestations relevant du RI, notamment au titre de frais particuliers. En tant que célibataire, le recourant perçoit un forfait "entretien et intégration sociale" pour personne seule, un supplément pour le loyer et un forfait "frais particuliers", comme toute autre personne (homme ou femme) dans une situation économique comparable à la sienne. Sous l'angle de l'aide sociale, on ne voit pas que la législation vaudoise établirait une discrimination entre hommes et femmes ou entre hommes de nationalité suisse et étrangère dans une situation semblable. La différence de traitement dont se prévaut le recourant ne découle pas de la législation cantonale sur l'aide sociale mais elle est inhérente au système constitutionnel suisse qui astreint au service militaire seuls les hommes de nationalité suisse (art. 59 al. 1 Cst.), respectivement au paiement d'une taxe tout homme de nationalité suisse qui n'accomplit pas son service militaire ou son service de remplacement (art. 59 al. 3 Cst.). On relèvera que la différence de traitement dont se plaint le recourant se retrouve aussi dans le cas des personnes qui ne sont pas dépendantes de l'aide sociale. On notera encore au passage, comme l'a jugé à maintes reprises le Tribunal fédéral, que l'art. 59 Cst. prime, en tant que lex specialis, sur le principe général d'égalité de traitement de l'art. 8 Cst. Le fait que seuls les hommes de nationalité suisse sont astreints au paiement de la taxe d'exemption est ainsi conforme à la constitution (cf. arrêt 2C_221/2009 du 21 janvier 2010 consid. 2.1, in StR, 65 2010 332 et AJP, 2010 789).
5.2.4. De manière plus générale, l'aide sociale ne doit servir à couvrir ni les impôts courants ni les impôts arriérés. Le paiement des impôts ne fait pas partie du minimum social de la personne assistée. En vertu du principe de la subsidiarité, celle-ci doit chercher à obtenir une remise ou un sursis (<ref-ruling> consid. 7.1.2 p. 136 s.; voir aussi PETER MÖSCH PAYOT, Sozialhilfe, in Recht der Sozialen Sicherheit - Sozialversicherungen, Opferhilfe, Sozialhilfe, Beraten und Prozessieren, 2014, p. 1437 n. 39.76; GUIDO WIZENT, Die sozialhilferechtliche Bedürftigkeit: Ein Handbuch, 2014, p. 375), ce qui vaut également pour la taxe d'exemption (cf. art. 37 al. 2 de la loi fédérale sur la taxe d'exemption de l'obligation de servir [LTEO; RS 661).
5.2.5. Il résulte de ce qui précède qu'on ne saurait suivre le recourant lorsqu'il demande que les autorités d'aide sociale vaudoise prennent en charge le montant de sa taxe d'exemption de l'obligation de servir au titre de l'égalité de traitement.
6.
Le recourant conteste encore la motivation des premiers juges selon laquelle l'art. 24 RLASV ne permettrait pas la prise en charge de la taxe d'exemption au motif que le paiement régulier d'une telle taxe ne saurait être considéré comme un besoin particulier. Le recourant ne démontre cependant pas en quoi les premiers juges auraient fait une application arbitraire du droit cantonal. Insuffisamment motivé, son grief est par conséquent irrecevable (cf. art. 42 al. 2 et 106 al. 2 LTF).
7.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Dès lors que le recourant est dans le besoin et que ses conclusions ne paraissaient pas d'emblée vouées à l'échec, il doit être mis au bénéfice de l'assistance judiciaire. Celle-ci sera limitée à l'exemption de frais judiciaires, le recourant n'étant pas représenté devant le Tribunal fédéral (art. 64 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est admise.
3.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du tribunal.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lucerne, le 21 avril 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin