Citation: 4A_392/2023 E. A

A.a. B.________ (ci-après: le vendeur, le demandeur, l'intimé) était propriétaire d'un domaine agricole situé en partie sur le territoire du canton de Neuchâtel et en partie sur celui du canton de Berne, qu'il avait remis à bail à ferme à C.________ (ci-après: le fermier). Le 21 février 2018, le vendeur a résilié le bail du fermier avec un délai de six mois. Par acte authentique du 20 mars 2018, le vendeur a transféré à A.________ (ci-après: l'acquéreur, le défendeur, le recourant) la propriété du bien-fonds n° xxx du cadastre de U.________, pour un prix de 800'000 fr., montant incluant les immeubles de la parcelle sur territoire bernois, pour la vente desquels un acte authentique a été instrumenté le 22 juin 2018 par un notaire bernois. Le contrat prévoyait qu'une vente séparée de biens mobiliers aurait lieu entre les parties, portant sur un pont roulant dans la grange, un évacuateur à fumier et une installation de traite directe et tank à lait pour le prix de 180'000 fr. L'acte de vente prévoyait encore que "le domaine est actuellement loué à un fermier, Monsieur C.________. L'acquéreur va prendre contact avec le fermier afin de négocier la résiliation anticipée du bail pour une date qu'il reste à définir. L'éventuelle indemnité y relative sera prise en charge par l'acquéreur, à l'entière décharge du vendeur [...]. Par contre, toute autre prétention justifiée du fermier en lien avec le bail à ferme, notamment relative aux investissements éventuels effectués dans le bâtiment, sera assumée par le vendeur, à l'entière décharge de l'acquéreur. Elles pourront être payées par l'acquéreur, après compensation avec d'éventuelles prétentions du bailleur vis-à-vis du fermier (fermages arriérés, dégâts causés aux bâtiments et aux installations, etc.) en déduction du prix de vente. Le vendeur donne tout pouvoir à l'acquéreur pour trouver un accord global portant sur la résiliation du bail à ferme et ses conséquences financières. La conclusion d'un accord global avec le fermier portant sur la date de la résiliation anticipée du bail et ses conséquences financières ainsi que sur son indemnisation pour les investissements éventuels effectués par lui-même, constitue une condition suspensive au dépôt du présent acte au registre foncier". Enfin, le contrat prévoyait une exclusion de garantie du vendeur quant aux éventuels défauts des biens-fonds vendus, réservant toutefois l'art. 199 CO relatif aux défauts volontairement dissimulés. A.b. Le 16 avril 2018, l'acquéreur et le fermier ont conclu une convention selon laquelle le fermier quitterait le domaine le 30 octobre 2018 et l'acquéreur lui verserait un montant de 250'000 fr. comprenant un dédommagement pour un évacuateur à fumier neuf et l'installation d'une stabulation libre à hauteur de 180'000 fr. ainsi qu'une indemnité de 70'000 fr. pour rupture anticipée du bail. A.c. Les ventes immobilières ont été inscrites au registre foncier neuchâtelois le 2 juillet 2018 et au registre foncier bernois le 3 juillet 2018. L'acquéreur et le fermier ont conclu une nouvelle convention datée du 23 juillet 2018. Celle-ci prévoyait le départ du fermier du domaine le jour-même et la remise des clés à l'acquéreur. Du montant de 250'000 fr. prévu dans la convention précédente, un montant de 90'600 fr. était déduit pour "solde de l'aide initiale payée par [l'acquéreur]", de même que 90'000 fr. payés au comptant le même jour. Le solde de 69'400 fr. était "intégralement compensé pour la remise en état des dégâts occasionnés par [le fermier] ainsi que tous les travaux de nettoyage des différents bâtiments". Les clés du bâtiment ont été remises immédiatement au nouveau propriétaire à cette date. A.d. Par courrier du 26 juillet 2018, l'acquéreur, par son mandataire, a écrit au vendeur que les objets vendus présentaient de graves défauts. Il faisait état d'une absence des griffes de l'installation de traite directe et d'une partie du tank à lait. L'acquéreur a indiqué ne pas avoir encore pu déterminer si l'évacuateur à fumier et le pont roulant fonctionnaient correctement. Le 23 août 2018, l'acquéreur a reçu un devis d'environ 18'900 fr. pour des travaux concernant la toiture du bâtiment. A.e. Par courrier du 23 novembre 2018, le vendeur, par son mandataire, a indiqué que, faute de preuve du contraire, les objets vendus n'étaient entachés d'aucun défaut, et a proposé que l'acquéreur lui verse déjà 90'000 fr. du montant convenu, le solde pouvant faire l'objet de discussions ultérieures. Le 27 décembre 2018, l'acquéreur a répondu au vendeur qu'il contestait devoir un quelconque montant. Il a invoqué compenser les montants acquittés auprès du fermier à hauteur de 180'000 fr. et s'est prévalu de défauts aux biens mobiliers vendus ainsi que de défauts aux installations électriques des bâtiments qui auraient été frauduleusement cachés. Par courrier du 7 janvier 2019, le vendeur a répondu que seules les prétentions justifiées du fermier pouvaient être indemnisées d'après le contrat et que le courrier du 27 décembre 2018 n'apportait aucun élément permettant de retenir que les 180'000 fr. correspondaient à des prétentions justifiées du fermier, ni du fait que l'acquéreur s'était acquitté d'une telle somme. Il a fixé à l'acquéreur un délai au 14 janvier 2019 pour lui verser 180'000 fr. ou lui faire une proposition raisonnable.