Faits :
A.
Le 7 février 2013, B._ a déposé une plainte pénale à l'encontre de A._, ressortissant français, pour injure. Les 23 avril et 11 juillet 2013, ce dernier a à son tour déposé plainte pénale à l'encontre de C._ pour menaces, calomnie, diffamation, injure et atteinte à l'honneur ainsi qu'à l'encontre de B._ pour dénonciation calomnieuse. Il a requis l'assistance judiciaire.
Par ordonnance du 9 août 2013, l'Office régional du Ministère public du Valais central (ci-après: le Ministère public) a reconnu A._ coupable d'injure et l'a condamné à une peine pécuniaire avec sursis de 15 jours-amende, à 10 francs l'unité ainsi qu'à une amende de 300 francs. Le prénommé a formé opposition contre cette ordonnance, le 14 août 2013.
Par décision du 4 septembre 2013, le Ministère public a rejeté la requête d'assistance judiciaire gratuite de A._ en tant que prévenu et en tant que partie plaignante. A._ a recouru auprès du Juge unique de la Chambre pénale du Tribunal cantonal du Valais (ci-après: le Tribunal cantonal) contre le refus de l'assistance judiciaire en tant que partie plaignante uniquement. Par ordonnance du 24 mars 2013, le Tribunal cantonal a rejeté le recours notamment au motif que la désignation d'un conseiller juridique gratuit n'était pas nécessaire pour la défense de ses intérêts compte tenu de la simplicité des faits et des circonstances personnelles de l'intéressé.
B.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'ordonnance du 24 mars 2014 et de le mettre au bénéfice de l'assistance judiciaire pour les instructions ouvertes devant le Ministère public et consécutives à ses plaintes pénales. Il requiert aussi l'assistance judiciaire pour la procédure devant le Tribunal fédéral.
Invité à se déterminer, le Tribunal cantonal renonce à déposer des observations.

Considérant en droit :
1.
Selon l'<ref-law>, le Tribunal fédéral connaît des recours contre les décisions rendues en matière pénale.
1.1. Aux termes de l'art. 81 al. 1 let. b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. La qualité pour recourir doit aussi être reconnue à la partie qui invoque une violation de ses droits de procédure lorsque cette violation équivaut à un déni de justice formel (<ref-ruling> consid. 1.4 p. 44, 29 consid. 1.9 p. 40; <ref-ruling> consid. 2.3.2 p. 232 s. et les références citées). Il en va notamment ainsi du droit à l'assistance judiciaire (arrêt 1B_436/2011 du 21 septembre 2011 consid. 1). Ce droit étant reconnu à la partie plaignante aux conditions de l'<ref-law>, celle-ci est recevable à se plaindre du fait que l'assistance judiciaire lui a été refusée (arrêt 1B_254/2013 du 27 septembre 2013 consid. 1.1).
1.2. Le refus de l'assistance judiciaire est une décision incidente susceptible de causer au recourant un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 4 p. 338). L'arrêt attaqué émane de l'autorité cantonale de dernière instance (<ref-law>) et le recourant a agi en temps utile (<ref-law>). Quant aux conclusions présentées, elles sont recevables au regard de l'<ref-law> et il y a donc lieu d'entrer en matière.
2.
Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (<ref-law>) sous peine d'irrecevabilité (<ref-law>). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Pour satisfaire à ces exigences, la partie recourante doit discuter les motifs de la décision entreprise et indiquer précisément en quoi elle estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 1.4 p. 287).
3.
Le recourant reproche en substance au Tribunal cantonal d'avoir violé l'<ref-law> en retenant que l'action civile était vouée à l'échec. Il fait en outre valoir que la défense de ses intérêts nécessite la désignation d'un conseil juridique gratuit dès lors que l'affaire est complexe.
3.1. Selon l'<ref-law>, la direction de la procédure accorde entièrement ou partiellement l'assistance judiciaire à la partie plaignante indigente (let. a) pour lui permettre de faire valoir ses prétentions civiles si l'action civile ne paraît pas vouée à l'échec (let. b). L'assistance judiciaire comprend l'exonération d'avances de frais et de sûretés (art. 136 al. 2 let. a), l'exonération des frais de procédure (let. b) et/ou la désignation d'un conseil juridique gratuit, lorsque la défense des intérêts de la partie plaignante l'exige (let. c). Cette norme reprend ainsi les trois conditions cumulatives découlant de l'art. 29 al. 3 Cst., à savoir l'indigence, les chances de succès et le besoin d'être assisté.
3.1.1. Vu la teneur de l'<ref-law>, le législateur a sciemment limité l'octroi de l'assistance judiciaire aux cas où le plaignant peut faire valoir des prétentions civiles. Il a ainsi tenu compte du fait que le monopole de la justice répressive est par principe exercé par l'Etat, de sorte que l'assistance judiciaire de la partie plaignante se justifie en priorité pour défendre ses conclusions civiles (cf. Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1160; arrêt 6B_122/2013 du 11 juillet 2013 consid. 4.1).
Un procès est dépourvu de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre et qu'elles ne peuvent donc être considérées comme sérieuses, de sorte qu'une personne raisonnable et de condition aisée renoncerait à s'y engager en raison des frais qu'elle s'exposerait à devoir supporter; il ne l'est en revanche pas lorsque les chances de succès et les risques d'échec s'équilibrent à peu près ou que les premières ne sont que légèrement inférieures aux secondes (<ref-ruling> consid. 2.2.4 p. 218). Il doit par ailleurs être tenu compte, dans l'appréciation de ce critère, de l'importance de l'issue de la procédure pour le requérant (Harari/Corminboeuf, in Commentaire romand CPP, 2011, no 33 ad <ref-law>). L'élément déterminant réside dans le fait que l'indigent ne doit pas se lancer, parce qu'il plaide aux frais de la collectivité, dans des démarches vaines qu'une personne raisonnable n'entreprendrait pas si, disposant de moyens suffisants, elle devait les financer de ses propres deniers (<ref-ruling> consid. 2.2.4 p. 218; <ref-ruling> consid. 2.2 p. 133 ss). La situation doit être appréciée à la date du dépôt de la requête et sur la base d'un examen sommaire (<ref-ruling> consid. 2.2.4 p. 218; <ref-ruling> consid. 5 p. 616).
Les chances de succès ne doivent pas être déniées lorsque les démarches à entreprendre portent sur des questions complexes et que leur issue apparaît incertaine (<ref-ruling> consid. 4b p. 309; arrêt 5A_842/2011 du 24 février 2011 consid. 5.3, non publié in <ref-ruling>; Harari/Corminboeuf, op. cit., no 34 ad <ref-law>). L'assistance judiciaire peut être refusée lorsqu'il apparaît d'emblée que la démarche est manifestement irrecevable, que la position du requérant est juridiquement infondée (par exemple en raison du dépôt tardif de la plainte ou d'une infraction ne protégeant pas les intérêts privés) ou si la procédure pénale est vouée à l'échec, notamment lorsqu'une ordonnance de non-entrée en matière ou de classement doit être rendue (Harari/Corminboeuf, op. cit., no 37 s. ad <ref-law>; Mazzucchelli/ Postizzi, in Baslerkommentar StPo, 2011, no 15 ad <ref-law>). De manière générale, en cas de doute, l'assistance judiciaire doit être accordée, le cas échéant, en la limitant à la première instance (Harari/ Corminboeuf, op. cit., no 34 ad <ref-law>).
3.1.2. Selon les critères déduits de l'art. 29 al. 3 Cst. par la jurisprudence pour juger de la nécessité de la désignation d'un conseil juridique au lésé, il est considéré en principe que la procédure pénale ne nécessite que des connaissances juridiques modestes pour la sauvegarde des droits du lésé; il s'agit essentiellement d'annoncer ses éventuelles prétentions en réparation de son dommage et de son tort moral ainsi que de participer aux auditions des prévenus, des témoins et de poser, cas échéant, des questions complémentaires; un citoyen moyen devrait ainsi être en mesure de défendre lui-même ses intérêts de lésé dans une enquête pénale (<ref-ruling> consid. 2b/bb). Pour évaluer si l'affaire présente des difficultés que la partie plaignante ne pourrait pas surmonter sans l'aide d'un avocat, il y a lieu d'apprécier l'ensemble des circonstances concrètes. Il faut tenir compte notamment de la complexité de la cause en fait et en droit, des circonstances personnelles du demandeur, de ses connaissances linguistiques, de son âge, de sa situation sociale, de son état de santé (<ref-ruling> consid. 2b/cc; arrêt 1B_26/2013 du 28 mai 2013 consid. 2.3).
3.2. S'agissant d'abord de la plainte déposée à l'encontre de B._ pour dénonciation calomnieuse, le Tribunal cantonal a retenu en substance que toute prétention civile semblait d'emblée vouée à l'échec dans la mesure où le recourant avait été condamné pour injure par ordonnance pénale et que - bien qu'il s'y soit opposé - il avait reconnu les faits, de sorte qu'il paraissait exclu que cette plainte puisse déboucher sur une condamnation pour dénonciation calomnieuse.
L'argumentation de l'instance précédente ne prête pas le flanc à la critique. Le recourant ne discute d'ailleurs pas cette motivation dans son recours. Le refus de lui accorder l'assistance judiciaire pour la plainte pénale dirigée contre B._ doit dès lors être confirmé.
Concernant ensuite la plainte déposée à l'encontre de C._ pour menaces et atteintes à l'honneur, le Tribunal cantonal a considéré que les faits, survenus en l'absence de témoin s'agissant des menaces, étaient pour l'essentiel reconnus par le prévenu, sous réserve que celui-ci estimait que le canon du fusil n'était pas pointé sur son interlocuteur alors qu'il l'interpellait, au moment de sortir des armes du coffre de son véhicule; d'après le recourant lui-même, le prévenu ne l'aurait pas mis en joue puisqu'il tenait l'arme à la main et se serait limité à lui dire "Si vous vous approchez là, je vous tire". L'instance précédente a encore estimé que le seul poste des conclusions civiles concernerait une indemnité pour tort moral mais qu'il paraissait douteux que les conditions restrictives posées par l'<ref-law> (notamment la gravité de l'atteinte) puissent être réalisées. Elle en a déduit que le refus d'accorder l'assistance judiciaire au recourant résistait à l'examen non seulement sous l'angle du critère des chances de succès de ses prétentions civiles mais aussi sous celui de la nécessité de la désignation d'un conseil juridique, compte tenu de la simplicité de l'état de fait et des circonstances personnelles de l'intéressé.
Le recourant ne démontre pas précisément et concrètement en quoi et pourquoi les motifs avancés par le Tribunal cantonal seraient erronés (<ref-law>). Comme s'il plaidait devant une cour d'appel, il se contente d'affirmer - sans le démontrer - que l'action civile n'est pas vouée à l'échec : il avance de façon péremptoire que le fait d'être menacé par une arme à feu ainsi que les insultes qu'il s'est vu infliger constituent des atteintes graves à la personnalité au sens de l'<ref-law> et justifient une indemnité pour tort moral de 5'000 à 10'000 francs. Le recourant entend ainsi substituer sa propre appréciation des circonstances à celle de l'autorité précédente. Il fait aussi valoir, à nouveau sur un mode purement appellatoire, que l'affaire est complexe, vu "les mesures d'instruction que le plaignant devra requérir et auxquelles il devra participer", sans exposer en quoi celles-ci consistent. Il dénonce enfin l'instruction "lacunaire" opérée par le Ministère public. Or, cet argument n'est pas pertinent dans la mesure où il ne tend pas à démontrer la complexité de l'affaire. En définitive, le recourant n'expose pas en quoi il ne serait pas capable de suivre une procédure pénale simple, telle que celle qui fait l'objet du présent litige.
Dans ces conditions, compte tenu de la simplicité de la cause, il y a lieu de retenir qu'une personne raisonnable munie de ressources suffisantes n'aurait pas fait appel à un avocat. Le Tribunal cantonal n'a donc pas violé l'<ref-law> en considérant que le refus du Ministère public d'accorder l'assistance judiciaire était justifié.
Le recours est par conséquent rejeté, dans la mesure de sa recevabilité.
4.
Il n'y a pas lieu d'accorder l'assistance judiciaire pour la procédure devant le Tribunal fédéral, dès lors que les conclusions du recours - essentiellement appellatoire - apparaissaient d'emblée vouées à l'échec (<ref-law>). Des frais judiciaires réduits, arrêtés à 300 francs, sont mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 300 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Ministère public du canton du Valais, Office régional du Valais central, et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 17 juillet 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : La Greffière :
Fonjallaz Tornay Schaller