A.- Par acte authentique du 28 décembre 1983, B._, C._ et D._ ont constitué la société A._, Transports internationaux SA, qui avait pour but l'exploitation d'une entreprise de transports par camions sur le plan international. B._ en était le directeur, tout d'abord avec signature individuelle, puis avec signature collective à deux. La société a repris l'exploitation de l'entreprise de transports auparavant exploitée en raison individuelle par B._. Par convention du 28 décembre 1983 également, ce dernier s'est engagé à travailler comme chauffeur au service de la société de telle manière qu'un salaire minimum de 2500 fr.
par mois puisse lui être versé.
Le 6 juillet 1984, la société anonyme et B._ ont conclu un contrat par lequel la première s'engageait à prêter au second la somme de 31 313 fr. Par la suite, d'autres prêts ont été accordés par la société à B._. Le montant total de ces prêts successifs a atteint, en 1997, 345 660 fr. En mars 1997, B._ a mis fin à ses rapports de travail avec la société.
A la suite d'un contrôle d'employeur, le 19 janvier 1999, il est apparu que la société, dans le cadre de son assainissement, avait abandonné la créance de 345 660 fr.
qu'elle détenait à l'encontre de B._ et procédé à son annulation comptable le 31 mars 1997.
Le 23 avril 1999, la Caisse de compensation du canton de Fribourg a notifié à A._, Transports internationaux SA une décision par laquelle elle lui réclamait le montant de 50 137 fr. 65 au titre de cotisations AVS/AI/APG/AC, de cotisations au régime d'allocations familiales et de frais de gestion sur le montant précité de 345 660 fr. Elle lui a également notifié, le même jour, une décision par laquelle elle lui a réclamé le montant de 3088 fr. 85 au titre d'intérêts moratoires sur les cotisations dues.
Le 23 avril 1999, elle a envoyé une copie de sa décision de cotisations à B._.
B.- A._, Transports internationaux SA et B._ ont tous deux recouru contre ces décisions.
Statuant le 14 décembre 2000, le Tribunal administratif du canton de Fribourg a rejeté les recours.
C.- Contre ce jugement, A._, Transports internationaux SA et B._ interjettent un recours de droit administratif dans lequel ils concluent à l'annulation du jugement cantonal et à la "nullité" des décisions du 23 avril 1999.
La caisse de compensation conclut au rejet du recours.
Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- Selon l'art. 128 OJ, le Tribunal fédéral des assurances connaît en dernière instance des recours de droit administratif contre des décisions au sens des art. 97, 98 let. b à h et 98a OJ en matière d'assurances sociales.
Quant à la notion de décision pouvant faire l'objet d'un recours de droit administratif, l'art. 97 OJ renvoie à l'art. 5 PA. Selon le premier alinéa de cette disposition, sont considérées comme décisions les mesures prises par les autorités dans des cas d'espèce, fondées sur le droit public fédéral (et qui remplissent par ailleurs certaines conditions relatives à leur objet). Il s'ensuit que le recours de droit administratif est irrecevable dans la mesure où le litige a trait à des cotisations au régime des allocations familiales du droit cantonal (<ref-ruling> consid. 1 et la référence).
2.- Les décisions litigieuses n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3.- a) Le salaire déterminant, au sens de l'art. 5 al. 2 LAVS, comprend toute rémunération pour un travail dépendant, fourni pour un temps déterminé ou indéterminé.
Font partie de ce salaire déterminant, par définition, toutes les sommes touchées par le salarié, si leur versement est économiquement lié au contrat de travail; peu importe, à ce propos, que les rapports de service soient maintenus ou aient été résiliés, que les prestations soient versées en vertu d'une obligation ou à titre bénévole. On considère donc comme revenu d'une activité salariée, soumis à cotisations, non seulement les rétributions versées pour un travail effectué, mais en principe toute indemnité ou prestation ayant une relation quelconque avec les rapports de service, dans la mesure où ces prestations ne sont pas franches de cotisations en vertu de prescriptions légales expressément formulées (<ref-ruling> consid. 4a, 124 V 101 consid. 2 et la jurisprudence citée).
b) Lorsque l'employeur renonce à une créance contre le salarié, cette prestation constitue en principe un salaire déterminant (voir Hans Peter Käser, Unterstellung- und Beitragswesen in der obligatorischen AHV, 2ème édition, p. 100 sv., ch. 3.93 et 3.94; Greber/Duc/Scartazzini, Commentaire des articles 1 à 16 de la Loi fédérale sur l'assurance-vieillesse et survivants [LAVS], note 18 ad art. 5 LAVS). La jurisprudence a admis toutefois une exception à ce principe lorsque l'employeur favorise - au moyen d'une subvention remboursable à certaines conditions - la construction par le salarié d'un logement individuel; les amortissements gratuits portés au crédit du bénéficiaire ne font pas partie du salaire déterminant, s'ils ne dépassent pas le cadre usuel en la matière et qu'ils sont dans un rapport raisonnable avec la rémunération du travail, en excluant toute intention de tourner la loi (<ref-ruling>).
Dans un tel cas, il s'agit en fait de libéralités sporadiques de l'employeur, de peu d'importance et qui ne sont pas soumises à cotisations, comme par exemple un prêt à des conditions avantageuses ou certains avantages à l'achat de marchandises (voir Ueli Kieser, Alters- und Hinterlassenenversicherung in : Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, p. 36, ch. 48).
4.- a) En l'espèce, il n'est guère contestable que les sommes prêtées par la société à B._ étaient économiquement liées à une relation de travail. Comme cela ressort tant du jugement attaqué que des allégués mêmes des recourants, B._ était insolvable en 1983 en raison des dettes (plusieurs centaines de milliers de francs) qu'il avait accumulées à l'époque où il exploitait à titre individuel une entreprise de transports. En outre, l'étalement des prêts correspond à la durée des rapports de travail. La modicité du salaire perçu par l'employé (2500 fr. par mois) rendait aléatoire toute perspective de remboursement et donne à penser que les parties entendaient en réalité, par l'octroi de ces prêts, accorder à l'employé un complément de rémunération. Sinon, on voit mal que la société ait consenti à prêter des sommes - importantes par rapport au salaire versé - à un salarié dont elle connaissait la situation financière pour le moins précaire. Il faut donc admettre, avec les premiers juges, que l'octroi des prêts en question constituait la contrepartie d'une prestation liée aux rapports de travail entre les parties et, de ce fait, soumise à cotisations.
b) Les recourants font valoir que la société anonyme a été contrainte d'abandonner sa créance en raison, précisément, de l'insolvabilité du débiteur. Toutefois, comme on l'a vu, B._ n'avait pas les moyens, dès 1983 déjà, d'honorer son passif. Les prêts successifs constituaient donc, dès le départ, des prestations à fonds perdu de la société en faveur de son salarié. Contrairement à ce que soutiennent les recourants, la situation n'est pas comparable aux circonstances qui sont à la base de l'arrêt <ref-ruling>. Dans cette affaire, il s'agissait d'un détaillant en denrées alimentaires, qui exerçait une activité lucrative indépendante et auquel un fournisseur avait accordé une remise partielle d'une dette commerciale. L'abandon partiel de créance par le fournisseur était assorti d'un plan d'amortissement pour le solde de la dette. Dans de telles circonstances, la diminution du montant de la dette ne représentait pas, a estimé le Tribunal fédéral des assurances, une contre-prestation pour une activité (indépendante) habituellement rémunérée du débiteur dans l'intérêt de son créancier.
c) Les recourants se prévalent aussi du fait que l'abandon de créance consenti en l'occurrence par la société était conditionnel. Il est exact que selon l'art. 3 d'une convention d'abandon de créance passée entre la société et B._ le 24 novembre 1998, le débiteur s'engageait à rembourser la société "au cas où il reviendrait à meilleure fortune (par exemple : gain à la loterie, PMU, héritage, etc.)". L'éventualité d'un remboursement ne paraît toutefois pas sérieusement envisageable, puisqu'il était subordonné à des conditions tellement aléatoires que sont l'obtention d'un gain (important) à la loterie ou en pariant aux courses ou encore des expectatives successorales, sur la réalité desquelles les recourants ne fournissent d'ailleurs aucune précision.
d) Les recourants font aussi valoir que B._ a remboursé partiellement sa dette, le 14 juin 1999, par un versement de 29 000 fr. A l'appui de leurs allégués, ils produisent une convention, datée du même jour, par laquelle B._ cède à la société les droits et obligations en capital d'une police d'assurance-vie d'une valeur de 50 000 fr., représentant une valeur de rachat d'environ 29 000 fr. Il est précisé que le montant de 29 000 fr.
viendra en diminution de la dette de B._ à l'égard de la société. On peut toutefois s'interroger sur les véritables motivations des parties à cette convention établie peu de temps après que les décisions litigieuses de la caisse eurent été rendues.
Quoi qu'il en soit, les recourants n'ont pas allégué ce fait ni n'ont produit la convention en cause au cours de la procédure cantonale. Or, lorsque le pouvoir d'examen du Tribunal fédéral des assurances est limité par l'art. 105 al. 2 OJ, la possibilité d'alléguer des faits nouveaux ou de faire valoir de nouveaux moyens de preuve est très restreinte.
Selon la jurisprudence, seules sont admissibles dans ce cas les preuves que l'instance inférieure aurait dû réunir d'office, et dont le défaut d'administration constitue une violation de règles essentielles de procédure (<ref-ruling> consid. 1c, 120 V 485 consid. 1b et les références).
A plus forte raison les parties ne peuvent-elles invoquer devant le Tribunal fédéral des assurances des faits nouveaux, qu'elles auraient été en mesure - ou qu'il leur appartenait, en vertu de leur devoir de collaborer à l'instruction de la cause - de faire valoir devant la juridiction inférieure déjà. De tels allégués tardifs ne permettent pas de qualifier d'imparfaites, au sens de l'art. 105 al. 2 OJ, les constatations des premiers juges (<ref-ruling> consid. 1c, 102 Ib 127).
L'existence d'un remboursement partiel de la dette aurait pu être invoquée en procédure cantonale, en particulier dans les répliques des recourants, datées du 13 juillet 1999. Partant, il s'agit d'un fait nouveau qui ne peut être invoqué devant le Tribunal fédéral des assurances.
5.- De ce qui précède, il résulte que le recours est mal fondé.
Vu la nature du litige, la procédure n'est pas gratuite (art. 134 OJ a contrario). Les frais judiciaires seront supportés par les recourants, qui succombent (art. 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Dans la mesure où il est recevable, le recours est
rejeté.
II. Les frais de justice, d'un montant de 5000 fr., sont mis à la charge des recourants et sont compensés avec l'avance de frais qu'ils ont versée. Le solde de cette
avance, par 3000 fr., leur est restituée.
III. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances
sociales.
Lucerne, le 22 novembre 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :