Faits :
A.
Le 10 juillet 2015, A._ a déposé plainte pénale contre B._ au motif que les accusations portées par celle-ci à son encontre dans la procédure pénale cantonale MPC 15 808 étaient attentatoires à son honneur.
Par jugement du 4 mars 2019, le Tribunal du IIe arrondissement pour le district de Sierre a acquitté A._ des chefs d'accusation principaux de contrainte sexuelle (<ref-law>) et de viol (<ref-law>) et de celui, subsidiaire, d'abus de détresse (<ref-law>).
B.
Par ordonnance du 8 avril 2019, l'Office régional du Ministère public du Valais Central a refusé d'entrer en matière sur la plainte/dénonciation du 10 juillet 2015.
C.
Par ordonnance du 6 août 2020, la Chambre pénale du Tribunal cantonal du Valais a rejeté le recours formé par A._ contre l'ordonnance du 8 avril 2019.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'ordonnance du 6 août 2020. Il conclut, avec suite de frais et dépens, à son annulation. Il sollicite également l'octroi de l'assistance judiciaire et la désignation de son conseil en qualité de défenseur d'office.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 358).
1.1. Conformément à l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque, comme en l'espèce, le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s. et les références citées).
1.2. En l'espèce, le recourant ne se détermine nullement sur un éventuel tort moral ou dommage, ni sur leur principe, ni sur leur quotité. L'absence d'explications sur la question des prétentions civiles exclut la qualité pour recourir du recourant sur le fond de la cause.
1.3. L'hypothèse visée à l'art. 81 al. 1 let. b ch. 6 LTF n'entre pas en considération dans le cas d'espèce, dès lors que le recourant ne formule aucun grief quant à son droit de porter plainte.
2.
Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 1.1. p. 5).
2.1. Le recourant dénonce une violation de son droit d'être entendu, dans la mesure où il n'a pas pu s'exprimer dans cette procédure et n'a pas été invité à fournir ses offres de preuves sur l'infraction de dénonciation calomnieuse, dont " s'est saisi d'office le ministère public ", avant que celui-ci ne rende l'ordonnance de non-entrée en matière litigieuse.
2.2. Compris comme l'un des aspects de la notion générale de procès équitable ancrée à l'art. 29 Cst., le droit d'être entendu au sens de l'art. 29 al. 2 Cst. (cf. aussi art. 6 par. 1 CEDH; art. 3 al. 2 let. c CPP et 107 CPP), englobe notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, d'avoir accès au dossier, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 4.1 p. 170 s.; <ref-ruling> consid. 1.1 p. 382; <ref-ruling> consid. 6.3.1 p. 298 s. et les arrêts cités).
2.3. Avant l'ouverture d'une instruction, le droit de participer à l'administration des preuves ne s'applique en principe pas (<ref-law> a contrario; <ref-ruling> consid. 3.3.2 i.f. p. 403; <ref-ruling> consid. 1.2.2 p. 175), et ce y compris en cas d'investigations policières diligentées à titre de complément d'enquête requis par le ministère public en vertu de l'<ref-law> (arrêt 6B_290/2020 du 17 juillet 2020 consid. 2.2 et les références citées). En outre, avant de rendre une ordonnance de non-entrée en matière, le ministère public n'a pas à informer les parties ni n'a l'obligation de leur fixer un délai pour présenter d'éventuelles réquisitions de preuve, l'<ref-law> n'étant pas applicable dans ce cas. Le droit d'être entendu des parties est en effet assuré, le cas échéant, dans le cadre de la procédure de recours contre l'ordonnance de non-entrée en matière (cf. art. 310 al. 2, 322 al. 2 et 393 ss CPP). Cette procédure permet aux parties de faire valoir tous leurs griefs - formels et matériels - auprès d'une autorité disposant d'une pleine cognition en fait et en droit (cf. art. 391 al. 1 et 393 al. 2 CPP; arrêts 6B_1014/2020 du 10 février 2021 consid. 2.1.2; 6B_290/2020 du 17 juillet 2020 consid. 2.2 et les références citées).
2.4. Sur le vu de ce qui précède, le recourant ne disposait pas d'un droit à participer à l'administration des preuves ou à se déterminer sur la volonté du ministère public de rendre une ordonnance de non-entrée en matière. Infondé, le grief tiré d'une violation du droit d'être entendu doit êtrerejeté.
Pour le surplus, en tant que le recourant soutient que l'ordonnance de non-entrée en matière était " prématurée à ce stade " parce que le verdict d'acquittement ne bénéficiait pas encore de la force de chose jugée, son grief est indissociable de la cause au fond et, partant, irrecevable.
3.
Au vu de ce qui précède, le recours doit être rejeté dans la faible mesure de sa recevabilité. Comme il était d'emblée voué à l'échec, l'assistance judiciaire doit être refusée (<ref-law>). Le recourant supporte les frais de la cause, qui sont fixés en tenant compte de sa situation financière, qui n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 13 avril 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant : Denys
La Greffière : Thalmann