Faits : A. A.a. A partir du 1 er décembre 1998, C._ (ci-après: l'employé) a été engagé, en qualité d'inspecteur nettoyeur, par la société D._ SA (ci-après : la société ou l'employeuse), ayant pour but l'exécution de travaux de nettoyage et d'entretien de tout genre. Son salaire brut était de 3'500 fr., puis de 3'600 fr. dès avril 1999. L'employé est tombé malade à partir du 8 août 1999 et son incapacité de travail a été de 100% pour une durée indéterminée. Le 21 octobre 1999, la société a rempli un formulaire de déclaration de sinistre (maladie de l'employé) pour l'assurance collective accidents et maladie (indemnités journalières) qu'elle a remis à E._. A.b. Les primes d'assurance n'ayant pas été payées par la société, la compagnie d'assurances a refusé de verser des indemnités journalières à l'employé. L'assureur avait déjà suspendu sa couverture depuis le 18 avril 1999 et annulé la police rétroactivement au 10 novembre 1998. Les rapports de travail ont pris fin le 31 décembre 1999. B. B.a. Le 7 février 2000, l'employé a déposé une demande contre son employeuse auprès du Tribunal des prud'hommes du district de La Chaux-de-Fonds. Il a conclu principalement à ce qu'elle soit condamnée à lui payer le montant de 12'384 fr.80 brut avec intérêts à titre de salaires et vacances, qu'il lui soit ordonné de l'affilier à la fondation LPP de E._ et de payer à celle-ci les cotisations employeur et employé pour la période de décembre 1998 à décembre 1999. La procédure s'est terminée par un accord entre les parties du 25 mai 2000 par lequel la société s'est engagée à verser à l'employé la somme de 5'184 fr. 80 brut pour le salaire de décembre 1999 et les vacances 1998-1999 (sous déduction de 1'070 fr. 65 déjà payés), 11'200 fr. brut pour les indemnités perte de gain de janvier à avril 2000, ainsi qu'un montant mensuel brut de 2'800 fr. jusqu'au terme de la maladie ou des 723 jours que couvrait le contrat d'assurance, ceci à compter du 15 août 1999. B.b. Le 7 février 2000, l'employé a également déposé une plainte pénale contre deux administrateurs de la société, à savoir A._ (administrateur président) et B._ (administrateur secrétaire). Par jugement du Tribunal pénal économique du 9 novembre 2004, A._ a été condamné notamment pour détournement de retenues sur les salaires (art. 159 CP et art. 87 al. 3 LAVS), gestion fautive et déloyale (art. 158 en concours avec l'art. 165 CP); B._ a été condamné notamment pour détournement de retenues sur les salaires (art. 159 CP et art. 87 al. 3 LAVS) et soustraction au paiement de cotisations d'assurances sociales (art. 87 al. 2 LAVS). Le pourvoi en cassation interjeté par ce dernier a été rejeté par arrêt du 27 juin 2005 de la Cour de cassation pénale du Tribunal cantonal, cette décision ayant été ensuite confirmée par le Tribunal fédéral. B.c. Le 12 juillet 2000, la faillite de la société a été prononcée et celle-ci a été radiée du registre du commerce le 21 mai 2003. Dans le cadre de la liquidation de la faillite, l'employé a demandé le paiement de 57'065 fr.45. La société faillie a reconnu cette créance qui a été admise au passif à concurrence de 56'793 fr. 80. Après distribution des deniers, l'employé a reçu un acte de défaut de biens pour un montant de 49'976 fr. 95. L'Office de l'assurance invalidité du canton de Neuchâtel lui a accordé une demi-rente AI avec effet rétroactif au 1 er octobre 2000. L'employé a fait notifier des commandements de payer portant sur le montant de 53'740 fr. aux deux administrateurs, qui ont chacun formé opposition totale. C. C.a. Le 20 juin 2008, A._ a déposé une " demande en constatation de l'inexistence d'une créance " à l'encontre de l'employé auprès du Tribunal cantonal neuchâtelois. Il a conclu à ce qu'il soit constaté qu'il n'existe entre les parties aucun rapport de droits et obligations, qu'il ne devait pas le montant de 53'740 fr. 40 et à ce que la poursuite objet du commandement de payer soit radiée, sous suite de frais et dépens. Le 1 er octobre 2008, l'employé a déposé une réponse et une demande reconventionnelle, concluant au rejet de la demande principale et à ce que A._ et B._ soient condamnés à lui payer la somme de 53'740 fr. 40. Lors du dépôt des conclusions en cause, l'employé a réduit ses conclusions en paiement à 38'119 fr. Le 26 février 2009, les deux administrateurs ont déposé une réponse à la demande reconventionnelle, concluant au rejet des conclusions de leur partie adverse. C.b. Par jugement du 27 mai 2013, le Tribunal régional du Littoral et du Val-de-Travers (à qui la cause avait été transmise) a condamné solidairement les administrateurs à payer à l'employé le montant de 38'119 fr. avec intérêts à 5% l'an dès le 17 janvier 2006 (ch. 1 du dispositif). La Cour d'appel civile du Tribunal cantonal neuchâtelois, par arrêt du 27 mai 2014, a admis très partiellement l'appel interjeté par les administrateurs, annulé le ch. 1 du dispositif du jugement attaqué et condamné solidairement les administrateurs à payer à l'employé le montant de 36'755 fr. plus intérêts à 5% l'an dès le 17 janvier 2006. Elle a confirmé le jugement pour le surplus et mis les frais d'appel à la charge des appelants. D. Les administrateurs exercent un recours en matière civile contre l'arrêt neuchâtelois. Ils concluent, sous suite de frais et dépens, principalement à son annulation (et, conséquemment, à celle du jugement du 27 mai 2013), au rejet des conclusions prises par l'employé, subsidiairement au renvoi de la cause à l'autorité cantonale de première ou deuxième instance pour nouvelle décision. L'intimé conclut, sous suite de frais et dépens, au rejet du recours.