Faits :
A.
A.a. Le 31 octobre 2010, B._ (ci-après: le bailleur) et A._ ont conclu un contrat de bail portant sur des locaux à usage de " xxx " situés au rez et au premier étage d'un immeuble sis à.... Le bail était conclu pour une durée de cinq ans et devait débuter le 1er novembre 2010 pour se terminer le 31 octobre 2015. Le loyer mensuel était fixé à 5'000 fr., auxquels s'ajoutait un montant de 500 fr. à titre de charges forfaitaires.
Le 29 janvier 2014, A._ a manifesté au bailleur son intention de résilier le contrat de bail et s'est plaint du fait que le loyer mensuel convenu était exagéré. Le 14 février 2014, le bailleur a refusé tant la résiliation du contrat que la baisse du loyer.
A.b. Le 25 février 2014, le bailleur a signé avec la société C._ SA un document manuscrit intitulé " Promesse de vente " portant sur l'immeuble précité. Il y était précisé que la société reprenait la location de l'immeuble complet dès " la signature de l'acte " pour un loyer mensuel de 3'500 fr. Les travaux de remise en état étaient à la charge de la société. La vente était supposée intervenir avant le 31 décembre 2014. Le document mentionnait encore " Dédite fr. 40'000 (quarante mille) payée d'avance à M. B._ le jour de la signature de l'acte notarié ".
Cette vente ne s'est pas réalisée.
A.c. Le 27 février 2015, le bailleur a fait notifier un commandement de payer la somme de 75'000 fr. avec intérêts à A._, lequel a formé opposition totale. Le bailleur a saisi le Tribunal civil du Littoral et du Val-de-Travers d'une demande de mainlevée de cette opposition, en exposant que A._ n'avait pas payé le loyer depuis le 31 janvier 2013, de sorte qu'il lui devait quinze fois le montant de 5'000 fr. Le tribunal a prononcé la mainlevée provisoire de l'opposition.
B.
B.a. Le 23 février 2016, A._ a déposé une action en libération de dette devant le même tribunal, en concluant à ce qu'il soit constaté qu'il ne devait pas le montant de 75'000 fr. avec intérêts au bailleur. Il a allégué que le bailleur avait consenti à la résiliation du bail pour le 1er mai 2014. Il a ajouté qu'il avait accumulé un arriéré de loyer de 75'000 fr. au 30 avril 2014 et que pour tenir compte des dépenses qu'il avait assumées à la place du bailleur, chiffrées à 35'360 fr. 10, le bailleur avait accepté de réduire la dette de 75'000 fr. à 40'000 fr. Enfin, C._ SA avait repris le solde de la dette de loyer de 40'000 fr. avec le consentement du bailleur, avec effet libératoire pour A._. Ce dernier ne devait donc plus rien au bailleur.
Le bailleur a conclu au rejet de l'action et, à titre reconventionnel, à ce que A._ soit condamné à lui payer, en sus du montant de 75'000 fr., celui de 85'000 fr. avec intérêts.
Par jugement du 28 octobre 2020, le tribunal a condamné A._ à verser au bailleur la somme de 40'000 fr. avec intérêts et a rejeté la demande reconventionnelle. Il a retenu que le bailleur avait accepté de réduire la dette de A._ à 40'000 fr. et que ce dernier n'avait pas prouvé que C._ SA se serait engagée à reprendre cette dette même si le projet d'achat de l'immeuble devait échouer.
B.b. A._ a interjeté appel à l'encontre de ce jugement auprès de la Cour d'appel civile du Tribunal cantonal neuchâtelois. Il a allégué n'avoir jamais eu un arriéré de loyer de quinze mois (75'000 fr.). Les loyers impayés s'élevaient à 40'000 fr. Il s'était acquitté de ce montant en payant divers travaux réalisés dans les locaux loués, travaux qui étaient à la charge du bailleur. Il a produit six extraits bancaires. Par la suite, il a encore déposé d'autres pièces.
Par arrêt du 2 mars 2021, la cour cantonale a déclaré que les pièces produites au stade de l'appel ne pouvaient pas être prises en compte. Il a rejeté l'appel.
C.
A._ (ci-après: le recourant) a formé un recours en matière civile au Tribunal fédéral. Il a conclu principalement à l'annulation de l'arrêt cantonal et à ce qu'il soit constaté qu'il ne doit pas le montant de 40'000 fr. avec intérêts au bailleur (ci-après: l'intimé), subsidiairement, qu'il lui doit tout au plus la somme de 5'000 fr.
L'intimé et la cour cantonale n'ont pas été invités à se déterminer.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (<ref-law>) et au délai de recours (<ref-law>).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références).
3.
Tout d'abord, le recourant reproche à la cour cantonale d'avoir violé l'<ref-law> dans la mesure où elle a refusé de prendre en compte les pièces produites en appel, à savoir, notamment, des preuves de paiement de certains loyers.
3.1. Aux termes de l'<ref-law>, les faits et moyens de preuve nouveaux ne sont pris en compte que s'ils sont invoqués ou produits sans retard (let. a) et s'ils ne pouvaient pas être invoqués ou produits devant la première instance bien que la partie qui s'en prévaut ait fait preuve de la diligence requise (let. b).
S'agissant des pseudo nova, soit les faits et moyens de preuve qui existaient déjà au début des délibérations de première instance, leur admissibilité est largement limitée en appel: ils sont irrecevables lorsque le plaideur aurait déjà pu les introduire dans la procédure de première instance s'il avait été diligent (<ref-ruling> consid. 4.1). Le CPC part du principe que le procès doit se conduire entièrement devant les juges de première instance. A ce stade, chaque partie doit exposer l'état de fait de manière soigneuse et complète et amener tous les éléments propres à établir les faits jugés importants. La procédure d'appel n'a pas pour but de compléter le procès de première instance en permettant aux parties de réparer leurs propres carences, mais de contrôler et corriger le jugement de première instance à la lumière des griefs formulés à son encontre (<ref-ruling> consid. 2.2.2; arrêt 4A_547/2019 du 9 juillet 2020 consid. 3.1). Il s'agit donc de déterminer si, objectivement, le plaideur a fait preuve de diligence (arrêt 4A_547/2019 précité consid. 3.1 et les références).
Le plaideur qui fait valoir des pseudo nova devant l'instance d'appel doit exposer précisément les raisons pour lesquelles il ne les a pas invoqués en première instance (<ref-ruling> consid. 4.2.1; <ref-ruling> consid. 4.1).
3.2. En l'espèce, la cour cantonale a considéré que le recourant n'avait pas expliqué dans son appel qu'il n'aurait pas pu déposer ces pièces devant la première instance en faisant preuve de la diligence requise. Il avait exposé ultérieurement, soit tardivement, que ces pièces n'avaient pas été produites en raison d'une erreur et d'une confusion de sa part. Ainsi, s'il avait fait preuve de diligence, il aurait pu produire en première instance ces pièces, qui ont d'ailleurs été établies entre 2011 et 2014. Dès lors, elles ne pouvaient pas être prises en compte.
Le recourant fait valoir qu'il n'était plus représenté par un mandataire professionnel lorsqu'il a déposé son appel. Il ajoute que, dans l'intérêt de la recherche de la vérité matérielle, il n'y a pas lieu d'appliquer des exigences trop strictes à l'égard de la diligence requise. Il se prévaut encore d'une prétendue mauvaise foi de l'intimé.
Le fait que le recourant n'était plus assisté d'un avocat au stade de l'appel ne le dispensait pas d'expliquer, dans son appel, les raisons pour lesquelles il n'avait pas pu produire ces pièces en première instance. Pour le surplus, la cour cantonale n'a pas appliqué trop strictement les exigences quant à la diligence requise, puisqu'il s'agissait de documents qui étaient déjà en la possession du recourant (cf. arrêts 4A_547/2019 précité consid. 3.1; 4A_419/2018 du 10 septembre 2018 consid. 6), qu'il n'a pas produits en première instance du seul fait d'une erreur de sa part. Le recourant allègue encore la mauvaise foi de l'intimé, mais se fonde sur des faits qui n'ont pas été constatés dans l'arrêt de la cour cantonale. Quoi qu'il en soit, cela ne pourrait pas permettre de réparer les manquements précités du recourant.
4.
Ensuite, le recourant soutient que les considérations de l'arrêt attaqué, selon lesquelles il aurait échoué à démontrer qu'il ne devait pas encore 40'000 fr. au bailleur, reposent sur une constatation manifestement inexacte des faits pertinents et consacrent une violation des art. 18, 175 et 176 CO, ainsi que de l'<ref-law>.
4.1. La cour cantonale a relevé que dans son appel, A._ avait fait valoir qu'il ne devait pas 75'000 fr. de loyers impayés, mais seulement 40'000 fr., et qu'il s'était déjà acquitté de cet arriéré en payant divers travaux effectués dans les locaux loués. L'appel reposait sur des faits nouveaux, qui entraient en contradiction avec ceux que le prénommé avait lui-même allégués en première instance, à savoir que l'arriéré de loyer se montait à 75'000 fr., que le bailleur avait accepté de réduire cette dette à 40'000 fr. pour tenir compte des dépenses assumées par son locataire, et que C._ SA avait ensuite repris le solde de la dette de loyer. La cour cantonale a retenu que A._ avait omis d'exposer qu'il n'aurait pas pu alléguer sa nouvelle version des faits devant la juridiction de première instance en faisant preuve de la diligence requise. Ces faits nouveaux ne pouvaient donc pas être pris en compte. En tout état de cause, on ne voyait pas ce qui l'aurait empêché de les alléguer en première instance déjà. L'appel reposant sur ces faits nouveaux, il devait être rejeté. Par surabondance, la cour cantonale a considéré que A._ avait échoué à faire la démonstration qu'il ne devait pas encore 40'000 fr. au bailleur.
4.2. Les juges précédents ont donc rejeté l'appel sur la base d'une double motivation, chacune suffisant à sceller le sort du litige. Or, lorsque la décision attaquée comporte plusieurs motivations indépendantes et suffisantes pour sceller le sort de la cause ou d'une partie de celle-ci, il incombe au recourant, sous peine d'irrecevabilité, de démontrer que chacune d'elles est contraire au droit (<ref-ruling> consid. 6.3 et les références). Force est de constater que le recourant ne s'en prend qu'à la seconde motivation, de sorte que son moyen devrait être considéré comme irrecevable. En tout état de cause, les arguments qu'il a soulevés en lien avec les pièces nouvelles écartées par la cour cantonale (cf. consid. 3 supra) ne lui sont d'aucune utilité ici. Ils ne permettent pas de retenir que la motivation de l'instance précédente concernant les faits nouveaux violerait le droit fédéral. Comme pour les pièces nouvelles, les juges cantonaux étaient fondés à ne pas prendre en compte les faits nouveaux, sur lesquels reposait entièrement l'appel et, partant, à rejeter ce dernier pour ce motif déjà.
Dans ces conditions, il est superflu d'examiner les arguments du recourant en lien avec la motivation alternative présentée par la cour cantonale.
5.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Le recourant, qui succombe, prendra en charge les frais judiciaires (<ref-law>). En revanche, il n'aura pas à indemniser l'intimé, puisque celui-ci n'a pas été invité à déposer une réponse.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 7 juillet 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz