Faits :
A.
Par ordonnance du 6 septembre 2019, le Ministère public du parquet régional de La Chaux-de-Fonds a ordonné la non-entrée en matière en faveur de A._ à la suite de la plainte déposée par B._ à son encontre pour viol et alloué à celui-ci une indemnité de 700 fr. à titre de réparation du dommage économique et du tort moral.
Par ordonnance pénale du même jour rendue dans la même procédure, le ministère public a déclaré B._ coupable de dénonciation calomnieuse au sens de l'<ref-law> et l'a condamnée à une peine pécuniaire de 20 jours-amende à 30 fr. le jour, avec sursis pendant deux ans.
Le 9 septembre 2019, B._ a formé opposition contre cette ordonnance pénale.
B.
Par jugement du 25 septembre 2020, le Tribunal de police des Montagnes et du Val-de-Ruz a acquitté B._ des chefs de prévention de dénonciation calomnieuse et diffamation, laissé les frais de la cause à la charge de l'État et rejeté les conclusions civiles formées par A._. Il a en outre statué sur les indemnités dues à la précitée et au mandataire d'office de celui-ci.
C.
Par jugement du 31 mars 2021, la Cour pénale du Tribunal cantonal neuchâtelois a rejeté l'appel formé par A._ contre ce jugement et confirmé celui-ci.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 31 mars 2021. Il conclut, avec suite de frais et dépens, principalement à l'annulation du jugement entrepris et à sa réforme en ce sens que B._ est reconnue coupable de dénonciation calomnieuse au sens de l'<ref-law>, subsidiairement de diffamation au sens de l'<ref-law>, et condamnée à une peine à dire de justice, à l'admission de ses conclusions civiles formées en première instance, et à ce que les frais judiciaires de première et seconde instance soient laissés à la charge de l'État et qu'il n'aura pas à rembourser les honoraires liés à l'assistance judiciaire. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale, ou à toute autre autorité que la cour de céans désignera, pour nouvelle décision dans le sens des considérants. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles.
En l'espèce, par ordonnance de non-entrée en matière du 6 septembre 2019, le ministère public a alloué au recourant une indemnité fondée sur l'art. 429 al. 1 let. b et c CPP, d'un montant total de 700 francs. Ce montant correspond aux conclusions civiles que celui-ci a formulées dans sa plainte du 12 février 2019 dirigée contre l'intimée pour dénonciation calomnieuse et induction de la justice en erreur, à savoir 150 fr. pour ses frais de médecin qu'il a dû consulter à la suite des accusations de l'intimée, 50 fr. de frais de déplacement à Neuchâtel, ces deux montants correspondant à son dommage économique, et 500 fr. à titre de tort moral.
Dans la mesure où les prétentions que fait valoir le recourant à l'encontre de l'intimée dans la présente procédure sont identiques à celles qui lui ont déjà été allouées dans l'ordonnance précitée, le recourant n'a pas la qualité pour recourir sur le fond. En effet, le jugement attaqué ne peut avoir un effet sur le jugement de l'action civile que pour autant que cette dernière existe ou existe encore; si la prétention civile a déjà été tranchée par un jugement entré en force ou si la créance est éteinte pour n'importe quel motif, il ne peut plus être question d'un effet sur le jugement des prétentions civiles (<ref-ruling> consid. 1a p. 188; <ref-ruling> consid. 3a p. 323; arrêt 6B_762/2014 du 16 février 2015 consid. 1.2.1).
2.
2.1. Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalent à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 2 p. 79; <ref-ruling> consid. 1.1 p. 5 et les références citées; arrêt 6B_1267/2019 du 13 mars 2020 consid. 1.2.2). En particulier, le recourant ne peut ni critiquer l'appréciation des preuves ni faire valoir que la motivation n'est pas correcte d'un point de vue matériel (<ref-ruling> consid. 1.2 p. 326; <ref-ruling> consid. 1.4 p. 44; <ref-ruling> consid. 1.9 p. 40; <ref-ruling> consid. 2.3.2 p. 232 s.; arrêt 6B_1267/2019 précité consid. 1.2.2).
2.2. En l'espèce, le recourant se plaint d'arbitraire et invoque de la sorte un établissement inexact des faits et une appréciation arbitraire des preuves en lien avec les art. 303 et 173 CP. Indissociablement lié à l'examen du fond, ce grief ne saurait fonder sa qualité pour recourir.
3.
Vu l'irrecevabilité du recours, il ne sera pas entré en matière sur les griefs soulevés par le recourant.
4.
Au vu de ce qui précède, le recours doit être déclaré irrecevable.
Le recours étant dénué de chances de succès, l'assistance judiciaire doit lui être refusée (<ref-law>). Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal de la République et canton de Neuchâtel.
Lausanne, le 14 février 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
Le Greffier : Rosselet