Faits:
Faits:
A. A._, propriétaire du restaurant Z._, l'a remis à bail aux époux X._ ainsi qu'aux époux Y._, par contrat du 31 mai 1994. Le bail était conclu pour quinze ans à l'échéance du 31 (recte: 30) juin 2009, pour un loyer mensuel de 3'400 fr., acompte de chauffage de 150 fr. en plus. Les parties ont convenu d'adopter dans leurs relations la forme écrite. Le 19 décembre 1994, les époux Y._ ont demandé à être libérés des obligations du bail susmentionné, ce que le bailleur a refusé par lettre du 9 janvier 1995. En janvier 1995, une entrevue a eu lieu entre le bailleur et les époux X._. Dès le mois de février 1995 et jusqu'en décembre 1996, les locataires n'ont payé que 3'000 fr. par mois, puis 3'100 fr. en 1997, 3'000 fr. en 1998, 3'100 fr. en 1999, 3'150 en 2000 et 2001 et enfin 3'000 fr. en 2002. A la fin de l'année 2001, la cession de l'établissement à de nouveaux exploitants a été envisagée, mais a échoué en raison de la non-liquidation du problème des arriérés, estimés alors à 50'000 fr. Le 19 janvier 2002, A._ a fait notifier aux époux X._ un commandement de payer pour le montant de 60'000 fr.
A. A._, propriétaire du restaurant Z._, l'a remis à bail aux époux X._ ainsi qu'aux époux Y._, par contrat du 31 mai 1994. Le bail était conclu pour quinze ans à l'échéance du 31 (recte: 30) juin 2009, pour un loyer mensuel de 3'400 fr., acompte de chauffage de 150 fr. en plus. Les parties ont convenu d'adopter dans leurs relations la forme écrite. Le 19 décembre 1994, les époux Y._ ont demandé à être libérés des obligations du bail susmentionné, ce que le bailleur a refusé par lettre du 9 janvier 1995. En janvier 1995, une entrevue a eu lieu entre le bailleur et les époux X._. Dès le mois de février 1995 et jusqu'en décembre 1996, les locataires n'ont payé que 3'000 fr. par mois, puis 3'100 fr. en 1997, 3'000 fr. en 1998, 3'100 fr. en 1999, 3'150 en 2000 et 2001 et enfin 3'000 fr. en 2002. A la fin de l'année 2001, la cession de l'établissement à de nouveaux exploitants a été envisagée, mais a échoué en raison de la non-liquidation du problème des arriérés, estimés alors à 50'000 fr. Le 19 janvier 2002, A._ a fait notifier aux époux X._ un commandement de payer pour le montant de 60'000 fr.
B. Le 25 février 2002, A._ a introduit une action en paiement de 56'797 fr. 95 contre les époux X._, devant la Commission de conciliation en matière de baux à loyer du canton de Fribourg. Non conciliée, cette requête a été transmise au Tribunal des baux pour les districts de la Gruyère, de la Glâne, de la Broye et de la Veveyse. De leur côté, les époux X._ ont saisi cette juridiction d'une action tendant notamment au versement de dommages-intérêts d'un montant de 130'000 fr., à la constatation que le montant du loyer était de 3'000 fr. par mois charges comprises dès le 1er janvier 1995 et au déboutement du bailleur de toutes autres conclusions.
Par jugement du 12 mai 2003, le Tribunal des baux a condamné les époux X._ à payer à A._ le montant de 55'797 fr. 95 avec intérêt à 5 % l'an dès le 1er juillet 1998 et rejeté les conclusions des locataires. Saisie par ces derniers, la IIe Cour d'appel du Tribunal cantonal de l'Etat de Fribourg a confirmé le jugement entrepris par arrêt du 26 mars 2004.
Par jugement du 12 mai 2003, le Tribunal des baux a condamné les époux X._ à payer à A._ le montant de 55'797 fr. 95 avec intérêt à 5 % l'an dès le 1er juillet 1998 et rejeté les conclusions des locataires. Saisie par ces derniers, la IIe Cour d'appel du Tribunal cantonal de l'Etat de Fribourg a confirmé le jugement entrepris par arrêt du 26 mars 2004.
C. Contre cet arrêt, les époux X._ (les demandeurs) interjettent un recours en réforme au Tribunal fédéral. Ils concluent à ce que la cour de céans annule l'arrêt du 26 mars 2004 et dise que le montant du loyer mensuel est de 3'000 fr. charges comprises, dise que les augmentations du loyer à 3'100 fr. en février 1997 et 3'150 fr. en avril 2000 sont nulles, condamne en conséquence A._ à leur verser la somme de 6'800 fr. plus intérêt à 5% l'an dès le 1er janvier 2002 en remboursement du loyer versé à tort, dise que les commandements de payer n'ont pas d'objet et devront donc être annulés, enfin déboute A._ de toutes autres conclusions, avec suite de dépens.
A._ (le défendeur) conclut au rejet du recours, avec suite de frais et dépens.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1, 321 consid. 1).
1.1 Interjeté par les demandeurs qui ont succombé dans leurs conclusions libératoires et dirigé contre un jugement final rendu en dernière instance cantonale par un tribunal supérieur (art. 48 al. 1 OJ) sur une contestation civile (cf. <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.1) dont la valeur litigieuse dépasse le seuil de 8'000 fr. (art. 46 OJ), le présent recours en réforme est en principe recevable, puisqu'il a été déposé en temps utile (art. 54 al. 1 OJ) et dans les formes requises (art. 55 OJ).
1.2 Saisi d'un recours en réforme, le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits contenus dans la décision attaquée, à moins que des dispositions fédérales en matière de preuve n'aient été violées, qu'il y ait lieu de rectifier des constatations reposant sur une inadvertance manifeste (art. 63 al. 2 OJ) ou qu'il faille compléter les constatations de l'autorité cantonale parce que celle-ci n'a pas tenu compte de faits pertinents et régulièrement allégués (art. 64 OJ).
Dans la mesure où une partie recourante présente un état de fait qui s'écarte de celui contenu dans la décision attaquée, sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'est pas possible d'en tenir compte (<ref-ruling> consid. 2.2 p. 106, 136 consid. 1.4). Il ne peut être présenté de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ). Le recours en réforme n'est donc pas ouvert pour remettre en cause l'appréciation des preuves et les constatations de fait qui en découlent (<ref-ruling> consid. 1.4; <ref-ruling> consid. 3).
Dans la mesure où une partie recourante présente un état de fait qui s'écarte de celui contenu dans la décision attaquée, sans se prévaloir avec précision de l'une des exceptions qui viennent d'être rappelées, il n'est pas possible d'en tenir compte (<ref-ruling> consid. 2.2 p. 106, 136 consid. 1.4). Il ne peut être présenté de griefs contre les constatations de fait, ni de faits ou de moyens de preuve nouveaux (art. 55 al. 1 let. c OJ). Le recours en réforme n'est donc pas ouvert pour remettre en cause l'appréciation des preuves et les constatations de fait qui en découlent (<ref-ruling> consid. 1.4; <ref-ruling> consid. 3).
2. Les demandeurs soutiennent que le contrat de bail a été modifié par actes concluants, le loyer mensuel étant réduit à 3'000 fr. charges comprises dès le 1er janvier 1995. Dans ce contexte, ils se plaignent d'une violation de l'<ref-law>, en ce sens que le Tribunal cantonal aurait strictement appliqué les règles ordinaires de preuves, sans tenir compte de cette disposition légale.
2.1 L'<ref-law> prescrit au juge d'établir d'office l'état des faits, les parties devant lui soumettre toutes les pièces nécessaires pour trancher le litige. Il pose le principe d'une maxime inquisitoriale sociale, laquelle ne constitue cependant pas une maxime officielle absolue. Cela découle déjà de la réserve expresse, selon laquelle les parties présentent toutes les pièces nécessaires à l'appréciation du litige. Le juge ne doit pas instruire d'office le litige lorsqu'une partie renonce à expliquer sa position, mais il doit interroger les parties et les informer de leur devoir de collaboration et de production des preuves. Il n'est tenu de s'assurer que les allégations et offres de preuves sont complètes seulement lorsqu'il a des motifs objectifs d'éprouver des doutes sur ce point. L'initiative du juge ne va pas au-delà de l'invitation faite aux parties de mentionner les preuves et de les présenter. La maxime inquisitoire prévue par le droit du bail ne permet pas d'étendre à bien plaire l'administration des preuves et de recueillir toutes les preuves possibles (arrêt 4C.199/2000 du 21 décembre 2000 publié in SJ 2001 I p. 278 consid. 2a.; <ref-ruling> consid. 4a). Au surplus, la maxime inquisitoire sociale ne modifie pas la répartition du fardeau de la preuve (arrêt 4C.65/2002 du 31 mai 2002 consid. 2b; 4P.297/2001 du 26 mars 2002 consid. 2a).
2.2 Procédant à une appréciation des preuves d'espèce, la cour cantonale a observé que les parties avaient prévu dans le contrat que toute modification se ferait pas écrit et que, dans ces circonstances, l'absence de tout document écrit était un indice en défaveur d'un accord sur la réduction du loyer. Elle a considéré que le témoignage du courtier qui avait mis les parties en relation lors de la conclusion du bail ne fournissait pas d'indice en faveur d'un accord de celles-ci sur une réduction de loyer mais était plutôt de nature à accréditer la version du bailleur. Elle a estimé que l'explication du défendeur, selon laquelle il avait renoncé à poursuivre immédiatement les demandeurs pour éviter la même issue que celle qu'avaient connue ses trois derniers locataires, dans la faillite desquels il avait perdu beaucoup d'argent -ce sur quoi il n'a pas été contredit-, était plausible et rejoignait la déposition du témoin susmentionné, selon lequel le défendeur était déjà content d'encaisser ces montants. Elle a relevé que la renonciation du défendeur à poursuivre ses locataires pour le solde de loyers et de charges dus ne permettait pas de conclure qu'il avait donné son accord tacite à une réduction du loyer, au demeurant variable en plus ou en moins selon les années, même si cette situation avait duré sept ans et que le bailleur avait couru le risque que certaines de ses créances soient prescrites. En définitive, elle est arrivée à la conclusion que les demandeurs n'étaient pas parvenus à prouver l'accord par actes concluants qu'ils invoquaient pour réduire leurs obligations découlant du contrat écrit.
Dans la mesure où l'argumentation développée par les demandeurs en relation avec l'<ref-law> revient exclusivement à remettre l'appréciation des preuves en cause et à présenter leur propre version des faits, soit à tenter de démontrer l'existence d'un accord dérogeant au contrat de bail écrit, elle n'a pas sa place dans un recours en réforme (cf. consid. 1.2) et aurait dû faire l'objet d'un recours de droit public. En effet, ni le principe de la libre appréciation des preuves, ni la maxime inquisitoire sociale consacrés à l'<ref-law> ne prescrivent au juge comment apprécier les moyens de preuve qui lui sont soumis (cf. arrêt 4C.264/2002 du 25 août 2003 consid. 4.2). Le grief des demandeurs est ainsi irrecevable.
Pour le surplus, il apparaît que les juges cantonaux ont permis aux parties de produire des pièces, les a interrogées et a entendu des témoins. L'on ne voit pas ce que ceux-ci auraient pu faire de plus, ni quelle preuve supplémentaire pertinente aurait pu être apportée, de sorte qu'il n'y a pas eu de violation de la maxime inquisitoire sociale et, partant, de l'<ref-law>. Enfin, à supposer que les demandeurs aient voulu invoquer une violation de l'<ref-law> et que ce moyen ne se confonde pas en l'occurrence avec le grief de la violation de l'<ref-law>, mais ait une portée propre (cf. arrêt 4C.199/2000 du 21 décembre 2000 publié in SJ 2001 I p. 278 consid. 2c; 4C.161/1997 du 18 mai 1995 consid. 2b non publié in SJ 1998 p. 645; 4C.458/1995 du 23 avril 1996 traduit in Cahiers du bail 1996 p. 111 consid. 2d), force est de constater qu'il n'y a pas trace d'une violation de l'<ref-law> dans le fait que la cour cantonale ait considéré qu'il incombait aux demandeurs de prouver les faits libératoires allégués.
Pour le surplus, il apparaît que les juges cantonaux ont permis aux parties de produire des pièces, les a interrogées et a entendu des témoins. L'on ne voit pas ce que ceux-ci auraient pu faire de plus, ni quelle preuve supplémentaire pertinente aurait pu être apportée, de sorte qu'il n'y a pas eu de violation de la maxime inquisitoire sociale et, partant, de l'<ref-law>. Enfin, à supposer que les demandeurs aient voulu invoquer une violation de l'<ref-law> et que ce moyen ne se confonde pas en l'occurrence avec le grief de la violation de l'<ref-law>, mais ait une portée propre (cf. arrêt 4C.199/2000 du 21 décembre 2000 publié in SJ 2001 I p. 278 consid. 2c; 4C.161/1997 du 18 mai 1995 consid. 2b non publié in SJ 1998 p. 645; 4C.458/1995 du 23 avril 1996 traduit in Cahiers du bail 1996 p. 111 consid. 2d), force est de constater qu'il n'y a pas trace d'une violation de l'<ref-law> dans le fait que la cour cantonale ait considéré qu'il incombait aux demandeurs de prouver les faits libératoires allégués.
3. Il reste à examiner la question de la prescription. Bien qu'elle relève du droit matériel, celle-ci doit être soulevée selon les formes et au stade prévus par la procédure cantonale (<ref-ruling> consid. 3a p. 110 et les références citées). Or, dans la présente cause, les juges cantonaux ont retenu qu'à supposer même qu'elle ait été régulièrement soulevée, ce qui n'était pas certain, la prescription n'avait pas été invoquée en temps utile selon les règles de la procédure cantonale. Il s'agit-là d'une constatation de fait que le Tribunal fédéral ne peut pas revoir dans un recours en réforme (cf. consid. 1.2), de sorte que le grief des demandeurs est également irrecevable.
Au vu de ce qui précède, le recours en réforme doit être déclaré irrecevable.
Au vu de ce qui précède, le recours en réforme doit être déclaré irrecevable.
4. Compte tenu de l'issue du litige, les frais et dépens seront mis à la charge des demandeurs, solidairement entre eux (art. 156 al. 1 et 7, ainsi que 159 al. 1 et 5 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
1. Le recours est irrecevable.
2. Un émolument judiciaire de 4'000 fr. est mis à la charge des deman-deurs, solidairement entre eux.
2. Un émolument judiciaire de 4'000 fr. est mis à la charge des deman-deurs, solidairement entre eux.
3. Les demandeurs, débiteurs solidaires, verseront au défendeur une indemnité de 5'000 fr. à titre de dépens.
3. Les demandeurs, débiteurs solidaires, verseront au défendeur une indemnité de 5'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie aux mandataires des par-ties et à la IIe Cour d'appel du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 7 septembre 2004
Au nom de la Ire Cour civile
du Tribunal fédéral suisse
Le président: La greffière: