Faits :
A.
A.a. A partir du 1 er décembre 1998, C._ (ci-après: l'employé) a été engagé, en qualité d'inspecteur nettoyeur, par la société D._ SA (ci-après : la société ou l'employeuse), ayant pour but l'exécution de travaux de nettoyage et d'entretien de tout genre. Son salaire brut était de 3'500 fr., puis de 3'600 fr. dès avril 1999.
L'employé est tombé malade à partir du 8 août 1999 et son incapacité de travail a été de 100% pour une durée indéterminée.
Le 21 octobre 1999, la société a rempli un formulaire de déclaration de sinistre (maladie de l'employé) pour l'assurance collective accidents et maladie (indemnités journalières) qu'elle a remis à E._.
A.b. Les primes d'assurance n'ayant pas été payées par la société, la compagnie d'assurances a refusé de verser des indemnités journalières à l'employé. L'assureur avait déjà suspendu sa couverture depuis le 18 avril 1999 et annulé la police rétroactivement au 10 novembre 1998.
Les rapports de travail ont pris fin le 31 décembre 1999.
B.
B.a. Le 7 février 2000, l'employé a déposé une demande contre son employeuse auprès du Tribunal des prud'hommes du district de La Chaux-de-Fonds. Il a conclu principalement à ce qu'elle soit condamnée à lui payer le montant de 12'384 fr.80 brut avec intérêts à titre de salaires et vacances, qu'il lui soit ordonné de l'affilier à la fondation LPP de E._ et de payer à celle-ci les cotisations employeur et employé pour la période de décembre 1998 à décembre 1999.
La procédure s'est terminée par un accord entre les parties du 25 mai 2000 par lequel la société s'est engagée à verser à l'employé la somme de 5'184 fr. 80 brut pour le salaire de décembre 1999 et les vacances 1998-1999 (sous déduction de 1'070 fr. 65 déjà payés), 11'200 fr. brut pour les indemnités perte de gain de janvier à avril 2000, ainsi qu'un montant mensuel brut de 2'800 fr. jusqu'au terme de la maladie ou des 723 jours que couvrait le contrat d'assurance, ceci à compter du 15 août 1999.
B.b. Le 7 février 2000, l'employé a également déposé une plainte pénale contre deux administrateurs de la société, à savoir A._ (administrateur président) et B._ (administrateur secrétaire).
Par jugement du Tribunal pénal économique du 9 novembre 2004, A._ a été condamné notamment pour détournement de retenues sur les salaires (<ref-law> et <ref-law>), gestion fautive et déloyale (art. 158 en concours avec l'<ref-law>); B._ a été condamné notamment pour détournement de retenues sur les salaires (<ref-law> et <ref-law>) et soustraction au paiement de cotisations d'assurances sociales (<ref-law>). Le pourvoi en cassation interjeté par ce dernier a été rejeté par arrêt du 27 juin 2005 de la Cour de cassation pénale du Tribunal cantonal, cette décision ayant été ensuite confirmée par le Tribunal fédéral.
B.c. Le 12 juillet 2000, la faillite de la société a été prononcée et celle-ci a été radiée du registre du commerce le 21 mai 2003.
Dans le cadre de la liquidation de la faillite, l'employé a demandé le paiement de 57'065 fr.45. La société faillie a reconnu cette créance qui a été admise au passif à concurrence de 56'793 fr. 80. Après distribution des deniers, l'employé a reçu un acte de défaut de biens pour un montant de 49'976 fr. 95.
L'Office de l'assurance invalidité du canton de Neuchâtel lui a accordé une demi-rente AI avec effet rétroactif au 1 er octobre 2000.
L'employé a fait notifier des commandements de payer portant sur le montant de 53'740 fr. aux deux administrateurs, qui ont chacun formé opposition totale.
C.
C.a. Le 20 juin 2008, A._ a déposé une " demande en constatation de l'inexistence d'une créance " à l'encontre de l'employé auprès du Tribunal cantonal neuchâtelois. Il a conclu à ce qu'il soit constaté qu'il n'existe entre les parties aucun rapport de droits et obligations, qu'il ne devait pas le montant de 53'740 fr. 40 et à ce que la poursuite objet du commandement de payer soit radiée, sous suite de frais et dépens.
Le 1 er octobre 2008, l'employé a déposé une réponse et une demande reconventionnelle, concluant au rejet de la demande principale et à ce que A._ et B._ soient condamnés à lui payer la somme de 53'740 fr. 40. Lors du dépôt des conclusions en cause, l'employé a réduit ses conclusions en paiement à 38'119 fr.
Le 26 février 2009, les deux administrateurs ont déposé une réponse à la demande reconventionnelle, concluant au rejet des conclusions de leur partie adverse.
C.b. Par jugement du 27 mai 2013, le Tribunal régional du Littoral et du Val-de-Travers (à qui la cause avait été transmise) a condamné solidairement les administrateurs à payer à l'employé le montant de 38'119 fr. avec intérêts à 5% l'an dès le 17 janvier 2006 (ch. 1 du dispositif).
La Cour d'appel civile du Tribunal cantonal neuchâtelois, par arrêt du 27 mai 2014, a admis très partiellement l'appel interjeté par les administrateurs, annulé le ch. 1 du dispositif du jugement attaqué et condamné solidairement les administrateurs à payer à l'employé le montant de 36'755 fr. plus intérêts à 5% l'an dès le 17 janvier 2006. Elle a confirmé le jugement pour le surplus et mis les frais d'appel à la charge des appelants.
D.
Les administrateurs exercent un recours en matière civile contre l'arrêt neuchâtelois. Ils concluent, sous suite de frais et dépens, principalement à son annulation (et, conséquemment, à celle du jugement du 27 mai 2013), au rejet des conclusions prises par l'employé, subsidiairement au renvoi de la cause à l'autorité cantonale de première ou deuxième instance pour nouvelle décision.
L'intimé conclut, sous suite de frais et dépens, au rejet du recours.

Considérant en droit :
1.
1.1. Interjeté par les administrateurs qui ont très largement succombé dans leurs conclusions libératoires et qui ont ainsi la qualité pour recourir (<ref-law>), dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse dépasse le seuil de 30'000 fr. de l'<ref-law>, le recours est par principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2. Le recours en matière civile peut être interjeté pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique ce droit d'office (<ref-law>). Il n'est pas lié par l'argumentation des parties (<ref-ruling> consid. 1.3 p. 336) et apprécie librement la portée juridique des faits; il s'en tient cependant aux questions juridiques que la partie recourante soulève dans la motivation du recours et ne traite donc pas celles qui ne sont plus discutées par les parties (<ref-law>; <ref-ruling> consid. 1.3 p. 584). Le Tribunal fédéral n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 1.4 in fine).
1.3. Le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits constatés dans la décision attaquée (<ref-law>). Les allégations de fait et les moyens de preuve nouveaux sont en principe irrecevables (<ref-law>). La juridiction fédérale peut compléter ou rectifier même d'office les constatations de fait qui se révèlent manifestement inexactes, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62), ou ont été établies en violation du droit comme l'entend l'<ref-law> (<ref-law>).
La partie recourante est autorisée à attaquer des constatations de fait ainsi irrégulières si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Il lui incombe alors d'indiquer de façon précise en quoi les constatations critiquées sont contraires au droit ou entachées d'une erreur indiscutable, à défaut de quoi le grief est irrecevable (<ref-ruling> ibidem).
2.
Le Tribunal régional, dans son jugement du 27 mai 2013, a considéré que les conditions de l'<ref-law> étaient remplies et que les administrateurs engageaient leur responsabilité pour le dommage causé à l'employé, ceci en raison du défaut de paiement des primes d'assurances. S'agissant du montant du dommage, le premier juge a calculé les indemnités d'assurance-maladie qui auraient été versées à l'employé jusqu'à la naissance du droit à sa rente d'invalidité et il a déduit le montant qu'il avait déjà touché dans la faillite de la société. Il est arrivé à un solde de 52'054 fr. 40, mais, lié par les conclusions de l'employé, il lui a adjugé la somme de 38'119 fr.
La cour cantonale, dans son arrêt du 27 mai 2014, confirme la décision du premier juge s'agissant du principe de la responsabilité. Dans son raisonnement ayant trait à l'acte illicite et à la faute, elle souligne que les administrateurs ont effectivement violé les devoirs (notamment celui de diligence résultant de l'<ref-law>) qui leur incombaient en qualité d'administrateurs d'une société anonyme. Reprenant les calculs effectués par le premier juge, elle parvient à la conclusion que le montant du dommage doit être réduit à 36'755 fr.
3.
3.1. Les recourants reprochent à la cour cantonale d'avoir transgressé l'art. 57 du Code de procédure civile neuchâtelois du 30 septembre 1991, alors en vigueur (la procédure de première instance ayant été introduite avant l'entrée en vigueur du Code de procédure civile suisse, cf. <ref-law>), qui consacrait la maxime des débats. Selon eux, la cour cantonale devait, pour établir leur responsabilité et en particulier pour déterminer le dommage du lésé, se baser exclusivement sur la créance résultant de l'accord passé avec la société D._ SA, et non sur le montant des indemnités qui auraient pu être perçues directement de l'assurance, ce complexe de faits n'ayant pas été présenté à l'autorité précédente par l'employé.
3.2. Les recourants n'invoquent toutefois pas la violation d'un droit constitutionnel en relation avec l'application de cette disposition de droit cantonal, si bien que leur moyen se révèle irrecevable (cf. arrêt 4A_165/2014 du 21 juillet 2014 consid. 4.1).
Quoi qu'il en soit, on ne voit pas en quoi l'argumentation des recourants aurait une incidence sur le sort de la cause (cf. <ref-law>). Le raisonnement de la cour cantonale (aboutissant à la prise en compte d'un dommage de 36'755 fr.) est en effet plus favorable aux recourants que celui prenant comme point d'appui le montant de la transaction.
S'agissant de la cause du dommage subi par le lésé (intimé), à laquelle il est également fait référence dans cette partie du recours, elle sera examinée plus loin, sous l'angle de l'<ref-law> (cf. infra consid. 6).
4.
Pour bien comprendre la position du créancier social (employé) en l'espèce, il est nécessaire de présenter le contexte dans lequel le contrat d'assurance collective d'indemnité journalière intervient (cf. infra consid. 4.1 et 4.2), de rappeler la nature d'une telle convention (cf. infra consid. 4.3 et 4.4), et de déterminer la portée de la transaction du 25 mai 2000 conclue entre le créancier social et la société (cf. infra consid. 4.5).
4.1. L'art. 324a al. 1 à 3 CO règle le droit du travailleur ou de la travailleuse de percevoir son salaire, pendant un temps limité, lorsqu'il est empêché de fournir sa prestation pour une cause inhérente à sa personne, telle que la maladie, l'accident ou la grossesse (al. 1 et 3). Pendant la première année de service, ce temps limité ne peut pas être inférieur à trois semaines; par la suite, il s'agit d'une période plus longue, à fixer équitablement d'après la durée des rapports de travail et les circonstances particulières (al. 2). Un accord écrit, un contrat-type de travail ou une convention collective peut déroger à ces dispositions à condition d'accorder au travailleur des prestations au moins équivalentes (<ref-law>).
L'<ref-law> permet ainsi de substituer, notamment par un accord écrit, une couverture d'assurance à l'obligation légale de payer le salaire, à condition toutefois que les travailleurs bénéficient de prestations au moins équivalentes.
Dans le domaine de l'assurance couvrant le risque de perte de gain en cas de maladie ou d'accident, les parties peuvent librement choisir, soit de conclure une assurance sociale d'indemnités journalières régie par les art. 67 à 77 de la loi fédérale du 8 mars 1994 sur l'assurance-maladie (LAMal; RS 832.10), soit de conclure une assurance d'indemnités journalières soumise à la loi fédérale du 2 avril 1908 sur le contrat d'assurance (LCA; RS 221.229.1) (arrêt 4A_529/2012 du 31 janvier 2013 consid. 2.1 et les références citées).
4.2. En l'occurrence, il n'est pas contesté que le contrat, conclu avec un assureur privé (E._), est régi par la loi sur le contrat d'assurance (LCA). Il s'agit donc d'une assurance, complémentaire à l'assurance sociale, relevant du droit privé (art. 12 al. 2 et 3 LAMal; <ref-ruling> consid. 2.1 p. 441 s.).
Il résulte également du dossier que la société D._ SA prévoyait, en cas d'incapacité de travail pour cause de maladie, à la place du salaire pendant un temps limité, une couverture d'assurance collective d'indemnités journalières, au taux de 80% du salaire, avec un délai d'attente de sept jours, et pendant 723 jours au plus. La validité de cette convention dérogatoire, en particulier du point de vue de l'équivalence des prestations, n'est pas contestée et il n'y a pas lieu de s'y attarder.
4.3. En matière d'assurance collective contre les accidents ou la maladie, l'<ref-law> - de nature impérative (cf. <ref-law>) - confère un droit propre à l'assuré, qu'il peut faire valoir contre l'assureur (entre autres auteurs: VINCENT BRÜHLHART, L'assurance collective contre la perte de gain en cas de maladie, in Le droit social dans la pratique de l'entreprise, 2006, p. 103). La volonté du législateur était de protéger l'assuré contre des comportements du preneur d'assurance susceptibles de mettre en danger la prestation d'assurance (arrêt 5C.3/2003 du 31 mars 2003 consid. 3.3 et les auteurs cités).
Ce droit propre a pour conséquence que seul le bénéficiaire (assuré) est titulaire de la prestation d'assurance (<ref-ruling> consid. 2a p. 384; BRÜHLHART, op. cit., p. 103). A cet égard, le Tribunal fédéral a eu l'occasion de préciser que la nature même du contrat d'assurance collective d'indemnité journalière présuppose que celle-ci soit acquittée entre les mains de l'assuré en faveur duquel il a été conclu, ledit paiement intervenant en lieu et place de l'obligation de l'employeur de verser le salaire (cf. <ref-ruling> consid. 2a p. 83, étant précisé que la solution retenue dans cet arrêt a été, à l'époque, prise en matière d'assurance collective soumise à la LAMA; PETER STEIN, in Basler Kommentar, Bundesgesetz über den Versicherungsvertrag, 2001, no 23 ad <ref-law>; STREIFF/VON KAENEL/RUDOLPH, Arbeitsvertrag, 7e éd. 2012, no 13 ad <ref-law> et les références citées).
Ce contrat (ou, plus correctement, son mode d'exécution) peut être comparé à une stipulation pour autrui parfaite: le tiers dispose d'un droit de créance propre contre le promettant et peut agir en exécution dès que la créance est exigible, le débiteur ne pouvant par ailleurs se libérer qu'en faisant sa prestation au tiers (<ref-law>; arrêt 5C.3/2003 déjà cité consid. 3.3). L'assuré ne devient toutefois pas partie au contrat et, partant, l'employeur (preneur d'assurance) est toujours le débiteur des primes d'assurance (arrêts 4A_53/2007 du 26 septembre 2007 consid. 4.4.1 publié in RtiD 2008 I p. 1057; 5C.41/2001 du 3 juillet 2001 consid. 2c).
4.4. Le fait que le preneur d'assurance (employeur) et l'assureur puissent convenir du versement des indemnités journalières à l'employeur ne change rien aux considérations qui précèdent. Ce type de clauses contractuelles n'a trait qu'aux modalités d'encaissement des cotisations et de versement des indemnités journalières. Dans l'un et l'autre cas, le preneur d'assurance (employeur de l'assuré) accomplit une tâche administrative définie par le contrat d'assurance, en ce sens qu'il lui appartient, d'une part de verser les cotisations d'assurance à la caisse - ce qui ne signifie pas que c'est lui qui les paie effectivement ou entièrement - et d'autre part d'encaisser les indemnités journalières, lesquelles sont cependant dues à l'assuré, et non pas à lui (cf. <ref-ruling> consid. 1b p. 83; FREY/LANG, in Basler Kommentar, Bundesgesetz über den Versicherungsvertrag, Nachführungsband, 2012, no 18 ad <ref-law>; HANS RUDOLF MÜLLER, Grundlagen der Krankentaggeldversicherung nach VVG, in Krankentaggeldversicherung: Arbeits- und versicherungsrechtliche Aspekte, 2007, p. 27; GEBHARD EUGSTER, Vergleich der Krankentaggeldversicherung (KTGV) nach KVG und nach VVG, in Krankentaggeldversicherung: Arbeits- und versicherungsrechtliche Aspekte, 2007, von Kaenel [éd.], p. 78 note de pied 97).
4.5. Lorsque l'employeur ne satisfait pas aux obligations à lui imposées par la convention dérogatoire écrite, par exemple s'il ne conclut pas le contrat d'assurance prévu ou n'acquitte pas les primes dues à l'assureur, ou, en cas de maladie d'un travailleur, ne fait pas à temps l'annonce exigée par les conditions d'assurance, il doit réparation du dommage subi par ce travailleur, et le dommage correspond aux prestations d'assurance perdues. Sa propre prestation a alors pour objet des dommages-intérêts pour cause de mauvaise exécution de la convention, et elle est due sur la base de l'<ref-law> (<ref-ruling> consid. 5 p. 326; <ref-ruling> consid. 4 p. 133; arrêt 4A_446/2008 du 3 décembre 2008 consid. 4).
En l'espèce, c'est dans cette perspective que le créancier social s'est adressé dans un premier temps à la société (en invoquant l'<ref-law>), puis qu'il l'a actionnée en justice (devant les autorités prud'homales).
Le fait pour le créancier social d'avoir procédé ainsi ne l'empêchait pas, en soi (en vertu des règles relatives à la solidarité imparfaite), de diriger ensuite son action, sous l'angle de l'<ref-law>, contre les organes sociaux pour obtenir le solde de sa créance (soit l'équivalent du montant des indemnités journalières qui auraient dû lui être versées en l'absence d'acte illicite), cette dernière action étant à ce stade présupposée ouverte (pour l'examen de la question cf. infra consid. 5).
Contrairement à ce que semblent suggérer les administrateurs, le fait qu'un accord ait été conclu entre la société et l'employé n'y change rien. Dans cette perspective, les recourants ne tentent en effet à aucun moment de soutenir que la transaction conclue en l'espèce par le créancier avec la société (coresponsable) libérerait tous les autres (soit en l'espèce les deux administrateurs) selon l'<ref-law> (cette disposition étant applicable par analogie en cas de solidarité imparfaite: cf. arrêt 4C.27/2003 du 26 mai 2003 consid. 3.4 publié in SJ 2003 I p. 597). Il incombait aux administrateurs (débiteurs) d'alléguer et d'établir une volonté des parties allant dans ce sens (cf. arrêt 4C.27/2003 déjà cité consid. 3.5.2) et il n'y a donc pas lieu d'entrer en matière sur cette question (cf. supra consid. 1.2 et 1.3).
5.
5.1. Les recourants reprochent à la cour cantonale d'avoir violé le droit fédéral en admettant l'action formée par l'employé (créancier social). Dans ce contexte, ils soutiennent que la cause du dommage n'est pas le non-paiement des primes, mais qu'elle doit plutôt être recherchée dans l'incapacité de la société d'honorer l'accord du 25 mai 2000. Selon eux, l'impossibilité pour la société d'honorer son engagement découle de la mauvaise gestion des administrateurs. Ils en infèrent l'absence de lien de causalité avec le non-paiement des primes et, pour le créancier social, l'existence d'un dommage par ricochet (seule la société étant directement lésée) qui ne peut être indemnisé par le biais d'une action individuelle.
5.2. Il s'agit donc de déterminer l'action qui pouvait être introduite en l'espèce par le créancier social. L'action dont dispose celui-ci envers les organes d'une société dépend du type de dommage subi. A cet égard, trois situations sont envisageables (<ref-ruling> consid. 3.1) :
5.2.1. Premièrement, le créancier peut être lésé à titre personnel par le comportement des organes, à l'exclusion de tout dommage causé à la société. Il subit alors un dommage direct (<ref-ruling> consid. 3.1.1). Autrement dit, les organes responsables ont adopté un comportement dont le créancier social (et non la société) est la victime (cf. PETER BÖCKLI, Schweizer Aktienrecht, 4e éd. 2009, § 18 n. 318).
Dans un tel cas, le créancier lésé peut agir à titre individuel pour réclamer des dommages-intérêts au responsable (<ref-ruling> consid. 3.2.1 p. 569). Son action est soumise aux règles ordinaires de la responsabilité civile, en particulier aux <ref-law> (<ref-ruling> consid. 3.2.1 p. 569; <ref-ruling> consid. 2 p. 233 ss; ROLAND RUEDIN, Droit des sociétés, 2e éd. 2007, p. 340 n. 1901 et le renvoi; BÖCKLI, op. cit., § 18 n. 311 ss et n. 341 et l'auteur cité; PETER R. ISLER, Fragen der Aktiv- und Passivlegitimation in Verantwortlichkeitsprozesses, in Verantwortlichkeit im Unternehmensrecht IV, 2008, p. 94).
5.2.2. Deuxièmement, les manquements des organes sont susceptibles de causer en premier lieu un dommage à la seule société (dommage direct), le créancier n'étant lésé que par ricochet (en cas d'insolvabilité de la société).
Tant que la société demeure solvable, c'est-à-dire qu'elle est en mesure d'honorer ses engagements, le dommage reste en effet dans sa seule sphère, sans toucher les créanciers sociaux, qui pourront obtenir le plein de leurs prétentions. C'est seulement lorsque les manquements des organes entraînent l'insolvabilité de la société, puis sa faillite, que le créancier subit une perte qui constitue un dommage par ricochet (<ref-ruling> consid. 3.2.2 et les arrêts cités), ce qui lui ouvre l'action de l'art. 757 al. 2 et 3 CO (sur le rapport avec l'<ref-law>, cf. BERNARD CORBOZ, in Commentaire romand, Code des obligations II, 2008, nos 36 ss ad <ref-law>).
5.2.3. En troisième lieu, il existe encore des situations, plus rares, dans lesquelles on discerne à la fois un dommage direct pour le créancier et un dommage direct pour la société. En d'autres termes, le comportement de l'organe porte directement atteinte au patrimoine de la société et à celui du créancier social (<ref-ruling> consid. 3.1.3 p. 569 et l'arrêt cité).
Dans cette situation, pour parer au risque d'une compétition entre les actions en responsabilité exercées respectivement par la société ou l'administration de la faillite et par les créanciers directement touchés, la jurisprudence a limité le droit d'agir de ces derniers, afin de donner une priorité à l'action sociale; ainsi, lorsque la société est aussi lésée, un créancier social peut agir à titre individuel contre un organe en réparation du dommage direct qu'il a subi seulement s'il peut fonder son action sur un acte illicite (<ref-law>), une culpa in contrahendo ou une norme du droit des sociétés conçue exclusivement pour protéger les créanciers (<ref-ruling> consid. 3.2.3 p. 570 s. et les arrêts cités).
5.3. Il convient maintenant, à la lumière des principes juridiques susrappelés, de revenir sur l'argumentation des recourants, soit de déterminer laquelle des trois hypothèses est réalisée en l'espèce.
5.3.1. Dans la mesure où les recourants affirment que la cause du dommage subi par le créancier social résulte de la mauvaise gestion de la société, ils font un amalgame entre la cause du dommage et les créances en réparation qui en découlent (pour le créancier social).
5.3.2. En l'occurrence, les agissements illicites des organes sociaux (non-paiement des primes) sont à l'origine du refus de l'assureur d'indemniser l'employé. Il n'importe à cet égard que l'on ne sache pas, sur la base des constatations cantonales, si les indemnités devaient être encaissées dans un premier temps par l'employeur (à charge pour lui de les remettre à l'employé), ou si elles devaient être versées directement à l'employé. Il n'en demeure pas moins qu'elles étaient dues à l'assuré. Ainsi, le fait que les administrateurs ont déduit des cotisations sur le salaire de l'employé - en particulier celles de l'assurance d'indemnités journalières en cas de maladie - pour les utiliser à d'autres fins permet d'affirmer que ces organes ont adopté un comportement dont l'employé est la victime, ce qui confirme que l'employé a subi un dommage direct.
La société, engagée contractuellement vis-à-vis de son employé, s'est également appauvrie en raison du comportement illicite de ses propres administrateurs, puisque son passif s'est accru d'une obligation de réparer le préjudice de l'employé ( damnum emergens sous la forme d'une augmentation des passifs; cf. HEINZ REY, Ausservertragliches Haftpflichtrecht, 4e éd. 2008, p. 81 n. 346). La société pouvait donc également actionner les administrateurs en invoquant la violation de l'<ref-law> ou du devoir de diligence ancré à l'<ref-law>.
5.3.3. Si l'existence d'une concurrence de prétentions de la société et du créancier social (cf. troisième cas de figure exposé supra consid. 5.2.3) peut ainsi être observée, cette concurrence ne semble plus d'actualité puisque la faillite de la société a été prononcée en juillet 2000, puis clôturée (la radiation au registre du commerce ayant été opérée en mai 2003). Il ne résulte pas de l'arrêt cantonal que l'administration de la faillite aurait actionné les administrateurs pour le préjudice subi, ni qu'une cession des droits de la masse aurait eu lieu.
Quoi qu'il en soit, il n'est ici pas douteux que le créancier social pouvait fonder son action sur un acte illicite (cf. infra consid. 6) et qu'il était ainsi légitimé à agir à titre individuel contre les organes en réparation du dommage direct subi (cf. supra consid. 5.2.3).
6.
6.1. L'argumentation fournie par la cour cantonale quant à l'illicéité de l'acte commis par les administrateurs est imprécise. Elle semble placer son raisonnement dans la perspective de la violation du devoir de diligence des administrateurs (<ref-law> en lien avec l'<ref-law>), en laissant entendre que la " violation de n'importe quel devoir incombant aux personnes chargées de la gestion ou de la liquidation peut entraîner leur responsabilité ". Il n'y a toutefois pas lieu de trancher la question sous cet angle, la responsabilité des organes étant clairement engagée sous l'angle de l'<ref-law>.
6.2. Selon l'<ref-law>, " celui qui cause, d'une manière illicite, un dommage à autrui, soit intentionnellement, soit par négligence ou imprudence, est tenu de le réparer ".
Pour que le lésé puisse invoquer la responsabilité délictuelle (ou aquilienne), il faut donc, entre autres conditions, que l'auteur du dommage ait agi de manière illicite.
La jurisprudence du Tribunal fédéral a consacré la théorie objective de l'illicéité. Dans cette conception, lorsqu'il est exclusivement question, comme en l'espèce, d'un dommage purement économique, l'illicéité doit résulter de la violation d'une norme de comportement ( Schutznorm ) destinée à protéger le lésé dans les droits atteints par l'acte incriminé ( Verhaltensunrecht ). De telles normes peuvent résulter de l'ensemble de l'ordre juridique suisse, qu'il s'agisse du droit privé, administratif ou pénal; peu importe qu'elles soient écrites on non écrites, de droit fédéral ou de droit cantonal (sur tous ces points: <ref-ruling> consid. 5.1 et les arrêts cités).
En l'occurrence, les administrateurs ont été condamnés, par jugement du 9 novembre 2004, en particulier pour détournement de retenues sur les salaires (<ref-law> et <ref-law>). L'<ref-law> vise une situation dans laquelle l'employeur est obligé, de par la loi, de payer un tiers avec la somme retenue pour le compte du travailleur (cf. BERNARD CORBOZ, Les infractions en droit suisse, Volume I, 3e éd. 2010, no 5 ad <ref-law>; STRATENWERTH/JENNY, Schweizerisches Strafrecht, Besonderer Teil I, 6e éd. 2003, no 32 ad § 19). La disposition pénale entend ainsi éviter que le travailleur ne subisse un dommage du fait de l'employeur; elle vise la protection de son patrimoine (cf. MARCEL ALEXANDER NIGGLI, in Basler Kommentar, Strafrecht, 2e éd. 2007, no 6 ad <ref-law> ). Il s'agit bien, pour les employés visés, d'une norme protectrice, dont la violation constitue un acte illicite.
Il n'est pas contesté que les administrateurs ont agi de manière fautive et qu'un dommage a été causé à l'employé.
On observera enfin qu'il est en l'occurrence indéniable qu'il existe un lien de causalité naturelle (d'ailleurs non contesté sous l'angle de l'art. 9 Cst. par les recourants) et adéquate entre le dommage subi par l'employé et l'omission des organes sociaux (non-paiement des primes).
Le résultat auquel parvient l'autorité précédente peut ainsi être confirmé, par substitution (partielle) des motifs.
Les critiques émises par les recourants sont dès lors infondées.
7.
Les recourants reviennent sur le montant du dommage causé à l'employé, tel qu'il a été calculé par le juge de première instance dans sa décision du 27 mai 2013.
Cela étant, ils ne discutent pas le considérant de l'arrêt attaqué et il n'y a pas lieu d'entrer en matière sur leur moyen (cf. <ref-ruling> consid. 2.1 p. 245 s.).
Quant à la critique portant sur le raisonnement de la cour précédente ayant motivé l'admission partielle de l'appel (légère réduction du montant des dommages-intérêts), elle repose sur la prémisse - erronée (cf. consid. 5.3) - de l'existence d'un dommage par ricochet. Il n'y a donc pas lieu d'entrer en matière sur cette critique.
8.
Il résulte des considérations qui précèdent que le recours en matière civile doit être rejeté dans la mesure où il est recevable.
Les frais et les dépens sont mis solidairement à la charge des recourants qui succombent (cf. art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants verseront solidairement à l'intimé une indemnité de 2'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Neuchâtel, Cour d'appel civile.
Lausanne, le 12 janvier 2015
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget