A.- Par contrat de bail à loyer du 24 août 1988, M._ a remis en sous-location à C._ un café-restaurant, un appartement et une salle d'eau situés dans un immeuble, propriété de son beau-père. Conclu avec effet au 15 octobre 1988 et jusqu'au 1er octobre 1991, le contrat s'est ensuite renouvelé d'année en année. Le loyer annuel net minimum a été fixé à 20 400 fr. - soit 1700 fr. par mois -, montant soumis à une clause de variation en fonction de l'évolution de l'indice suisse des prix à la consommation (IPC). Selon l'art. 22 des dispositions particulières du bail, ce loyer correspondait à un taux de 10% pour un chiffre d'affaires de 204 000 fr. et le locataire devait un loyer complémentaire de 10% l'an sur la tranche comprise entre 204 000 fr. et 300 000 fr., le loyer annuel maximum étant fixé à 30 000 fr. Les parties étaient en outre convenues d'adopter la forme écrite dans leurs relations. L'art. 25 des dispositions particulières prévoyait que C._ reprenait le mobilier et le matériel de l'établissement public pour un montant forfaitaire de 25 000 fr., cette reprise faisant l'objet d'une avance sans intérêt de la part du bailleur. L'établissement public a été ouvert le 28 octobre 1988. C._ a payé le loyer pour la première fois au début de l'année 1989, s'acquittant en une fois des loyers de novembre 1988 à mars 1989. Il a toutefois payé un montant correspondant à un loyer mensuel de 2500 fr., et non de 1700 fr. comme prévu dans le contrat. Puis il a établi un ordre bancaire permanent pour le paiement du loyer à raison de 2500 fr. par mois. C._ a expliqué qu'il avait toujours cru qu'en versant 2500 fr. par mois, il s'acquittait de son loyer et remboursait le prix de la reprise du mobilier et du matériel de l'établissement, à raison de 800 fr. par mois. Faisant confiance à son bailleur, qui se trouve également être un ami et s'occupe depuis des années de ses comptes par l'intermédiaire de sa fiduciaire, il ne se serait pas avisé du fait qu'il avait payé à la fin du bail plus que le prix de la reprise de 25 000 fr. Le locataire n'exclut pas que le montant de 2500 fr. ait été discuté. M._, quant à lui, se prévaut d'un accord oral intervenu après la signature du bail, mais avant la prise de possession des locaux, selon lequel le loyer mensuel net aurait été porté dès le début du bail à 2500 fr. pour tenir compte des améliorations apportées à l'immeuble ensuite de travaux d'assainissement et de rafraîchissement exécutés entre la mi-été 1988 et le printemps de l'année suivante. Ce montant aurait fait l'objet d'une négociation et aurait rendu inapplicable la clause de variation de loyer en fonction du chiffre d'affaires. Le loyer a été augmenté à 2670 fr. dès le 1er avril 1990, puis à 2753 fr. dès le 1er janvier 1992. Ces hausses, fondées sur la variation de l'IPC, ont été notifiées sur formule officielle; elles n'ont pas été contestées par le locataire. A la fin du mois d'août 1997, C._ s'est rendu compte que son commerce périclitait. Il a fait part de ses préoccupations à M._, qui a accepté de baisser le loyer à 2000 fr. par mois dès le 1er octobre 1997. Cet accord oral a été consigné par écrit, après que C._ eut consulté l'Association suisse des locataires (Asloca) le 27 janvier 1998. Le 20 mars 1998, C._ a une nouvelle fois consulté l'Asloca et lui a présenté ses bilans, ainsi qu'un décompte rédigé avec l'aide de son amie, dont il ressortait que les loyers payés étaient trop élevés par rapport au chiffre d'affaires réalisé, en violation de l'article 22 des conditions particulières du bail. Il a alors été informé de l'absence de notification sur formule officielle de la hausse de loyer de 1700 fr. à 2500 fr. et des conséquences de ce manquement. C._ a résilié le bail pour le 30 septembre 1998 et a quitté les locaux le 30 juin 1998. Ceux-ci ont été remis à un nouveau locataire le 1er juillet 1998. B.- C._ a saisi la Commission de conciliation compétente, le 13 août 1998, aux fins d'obtenir le remboursement des montants payés indûment sur les loyers. Après échec de la tentative de conciliation, il a saisi le Tribunal des baux du canton de Vaud, concluant à ce que M._ lui paie la somme de 57 830 fr.85, plus intérêts. Le défendeur a conclu à libération et, reconventionnellement, au paiement par le demandeur de la somme de 31 255 fr.95, plus intérêts, soit un arriéré de loyer de 10 911 fr.20, la reprise du matériel et du mobilier de l'établissement par 19 844 fr.75 et une facture de 500 fr. Il a en outre invoqué la compensation de ces créances avec les prétentions du demandeur. Par jugement du 7 janvier 2000, le Tribunal des baux a déclaré le défendeur débiteur du demandeur de la somme de 57 660 fr.25, plus intérêts, rejetant toutes autres ou plus amples conclusions. Les premiers juges ont retenu qu'après la conclusion du bail litigieux, soit au moment de la signature par les parties d'un relevé de compte du 4 mars 1989, les parties avaient négocié l'augmentation du loyer de 1700 fr. à 2500 fr. Relativement à l'exigence de la formule officielle pour cette hausse, ils ont pris en considération la formation du demandeur, qui excluait qu'on puisse le considérer comme étant rompu aux affaires en matière de bail, et ont déduit de cet élément, d'autres circonstances et de l'absence d'indices contraires que le demandeur ne connaissait pas son droit de contester la hausse, laquelle n'était dès lors pas valable. Le Tribunal des baux a rejeté l'argument du défendeur tiré de l'abus de droit, attendu que le demandeur n'avait pas renoncé librement et en toute connaissance de cause aux droits que lui conférait une notification sur formule officielle et que la hausse litigieuse, en plus d'être illégale, car rétroactive, était abusive en tant qu'elle dépassait 496 fr. par mois. Les premiers juges ont ensuite constaté que le demandeur avait eu connaissance de l'absence de cause valable du paiement de la hausse litigieuse au plus tôt lors de la consultation auprès de l'Asloca, le 20 mars 1998, et que le délai d'une année de l'art. 67 al. 1 CO avait été respecté; ils ont appliqué la prescription (absolue) décennale à la créance en cause et considéré que les conditions de la restitution fondée sur l'enrichissement illégitime étaient réalisées. Les juges de première instance ont retenu que les loyers versés par le demandeur du 1er novembre 1988 au 30 juin 1998 s'étaient élevés à 305 066 fr. et ils ont chiffré ceux dus pour cette période à 227 561 fr. Ils ont déduit du solde en faveur du demandeur, par 77 505 fr., la somme de 19 844 fr.75 correspondant à la reprise du matériel et du mobilier. Par arrêt du 6 septembre 2000, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours déposé par le défendeur et confirmé le jugement du Tribunal des baux. C.- Le défendeur interjette un recours en réforme au Tribunal fédéral. Il conclut au rejet de la demande principale et à l'admission de sa demande reconventionnelle à concurrence de 19 844 fr.75, plus intérêts. Le demandeur propose le rejet du recours et la confirmation de l'arrêt attaqué.