Faits: A. A.a. Dès le 1er août 1994, X._ a été engagé par l'ancien Hôpital V._ en qualité de médecin-consultant dans le service de gynécologie et obstétrique. A partir du 1er octobre 1995, il a assuré le remplacement du médecin-chef de service (i.e. le Dr A._) durant les périodes où celui-ci était absent et a été nommé, à compter du 1er septembre 1996, médecin-chef adjoint. Le Dr A._ rencontrait de manière générale des problèmes relationnels avec ses subordonnés (médecins-adjoints, chefs de clinique ou assistants). Informée de cette situation en 2001, la direction de l'Hôpital V._ avait envisagé d'ouvrir alors une enquête médico-administrative à son encontre, laquelle avait été évitée grâce à l'intervention de X._. Lors de la création en 2004 de l'Hôpital Z._, connu sous la raison sociale « Etablissement R._ », X._ a été informé que de nouvelles conditions cadres d'engagement et de rémunération des médecins-cadres et des médecins externes avaient été négociées au plan cantonal et que cela impliquait que son contrat de travail devait être revu pour respecter les normes cantonales voulues par le Conseil d'Etat. L'Hôpital V._, qui devait rejoindre à la fin juin 2006, la nouvelle entité juridique de R._, a ainsi résilié, par courrier du 12 septembre 2005, le contrat du prénommé pour le 30 juin 2006. Il a été expliqué à X._ que son contrat de travail définitif serait établi ultérieurement avec l'Hôpital Z._. En avril 2006, X._ a reçu un projet de nouveau contrat avec l'Hôpital Z._ qui le classait au rang de médecin agréé, supprimant son titre de médecin-chef adjoint. Le précité a exprimé son désaccord à ce changement de titre. Précédemment, lors d'une réunion des médecins-cadres de l'Hôpital V._, il avait déjà contesté la perte de son titre. Dès le 1er juillet 2006, X._ a poursuivi son activité habituelle comme par le passé, mais pour le compte de l'Hôpital Z._. Le 6 décembre 2006, il a écrit à la direction dudit hôpital concernant son changement de statut, qu'il qualifiait de « déclassement plutôt gratuit et immérité de (ses) titres actuels » (art. 105 al. 2 LTF). La direction de l'Hôpital Z._ n'est apparemment pas entrée en matière à ce sujet. X._ n'a reçu des propositions contractuelles concrètes que le 12 juin 2007; à cette occasion, la direction de l'Hôpital Z._ lui a offert la fonction de médecin-adjoint pour le département de gynécologie-obstétrique dès le 1er mai 2007 au taux de 40%. Le cahier des charges ne lui ayant pas été remis, X._ n'a jamais signé cette proposition. Celui-ci est resté dans l'attente de précisions sur sa situation venant de l'Hôpital Z._, tout en continuant d'accomplir, pour le site V._, les tâches qui étaient les siennes lorsqu'il était sous contrat avec l'Hôpital V._. A.b. Il a été retenu que X._ assistait régulièrement aux séances de la Commission consultative de l'Hôpital V._. Depuis la création de l'Hôpital Z._, l'importance de cette commission avait diminué, car il ne s'agissait plus que d'un groupe consultatif, sans pouvoir décisionnel, visant à instaurer un dialogue entre le corps médical et les représentants politiques. Lors de la réunion de ladite commission qui s'est tenue le 6 septembre 2007, X._ y a été remplacé, sans en être averti, par la Dresse B._. X._ figurait dans la liste des médecins-cadres qui avaient été convoqués à cette réunion, mais non la Dresse B._. Dans le même temps, X._ a appris, par des bruits de couloir, que la Dresse B._ s'était présentée auprès de ses collègues comme le nouveau médecin-chef adjoint. Ni le précité, ni le personnel de l'établissement n'ont été informés officiellement par la direction de la nomination comme médecin-chef adjoint de la Dresse B._. A.c. L'organisation du service de gynécologie de Z._ a été laborieuse. Lors des discussions avec l'Hôpital Z._, le service de gynécologie et obstétrique de l'Hôpital V._ était représenté par le médecin-chef, soit le Dr A._, supérieur hiérarchique de X._. Ce dernier s'attendait à ce que le Dr A._ soutienne le maintien de sa position hiérarchique, ce qui n'a pas été le cas. Les relations de X._ avec le Dr A._ s'étaient depuis lors sensiblement dégradées. D'après un procès-verbal d'une séance du Collège élargi des médecins s'étant tenue le 24 avril 2006, le Dr A._ a déclaré qu'il avait reçu, avec un tiers, la mission de recenser l'implication effective des médecins au sein des différents services (heures de présence, travaux effectués) et qu'il s'était révélé que pour certains d'entre eux, « le titre ne correspondait pas à leur activité effective ». Dans un courrier du 21 septembre 2007 adressé au Directeur général de l'Hôpital Z._, X._ s'est plaint du comportement adopté à son endroit - qualifié notamment de mobbing - par le Dr A._ et par ledit hôpital, à l'instigation du directeur en question, et a demandé une enquête médico-administrative. Lors d'un entretien qui s'est déroulé avec le Directeur général le 1er octobre 2007, X._ s'est refusé à toute discussion, requérant qu'il soit répondu par écrit à son courrier du 21 septembre 2007. Le 2 octobre 2007, la Directrice des ressources humaines de l'Hôpital Z._ a informé X._ que la cellule nanti-harcèlement de la « CCT ... » n'était pas compétente pour les médecins, mais seulement pour les employés relevant de la convention collective, mais qu'elle ne voyait personnellement pas d'inconvénients à ce qu'il s'adresse à cette cellule, étant précisé que les organes de la CCT pourraient avoir un avis différent. Par courrier du 11 octobre 2007, comportant trois pages à interlignes serrés, le Directeur général a répondu aux points soulevés par X._ dans l'écriture susrappelée; il a exprimé le souhait qu'un procès pour harcèlement psychologique ne soit pas intenté, car personne n'y aurait véritablement intérêt; à la fin de ce pli, le Directeur général a demandé à X._ de lui fournir dans les meilleurs délais des attestations de formation continue. Le 5 novembre 2007, le Dr A._ a envoyé au Directeur général et à des collègues de X._ un courriel pour se plaindre de l'attitude de celui-ci lors d'une précédente réunion dans laquelle une dispute avait éclaté entre les susnommés. Il résulte de la teneur courtoise du courriel échangé le 4 octobre 2008 entre le Dr A._ et X._ que les relations professionnelles entretenues par les deux hommes, tendues en fin d'année 2007, se seraient apaisées par la suite. B. Par demande du 1er décembre 2008, X._ a ouvert action contre l'Hôpital Z._ devant le Tribunal des Prud'hommes du district de Neuchâtel et conclu au paiement de la somme de 2'000 fr. à titre de tort moral, avec intérêts à 5% l'an dès le 6 septembre 2007. Il a fait valoir que l'établissement défendeur l'a traité d'une manière contraire à l'éthique, dans le but de l'écarter du cercle des médecins y travaillant et de le pousser à présenter sa démission. Déstabilisé de manière progressive et constante, il aurait été atteint dans sa santé et son honneur professionnel. Le défendeur a conclu à sa libération. De nombreux témoins ont été entendus. Par jugement du 7 décembre 2012, le Tribunal civil du Tribunal régional du Littoral et du Val-de-Travers, qui a depuis lors remplacé le Tribunal des Prud'hommes du district de Neuchâtel, a entièrement rejeté la demande. Il a retenu que les éléments avancés par le demandeur ne suffisaient pas à faire admettre l'existence de mobbing. De plus, outre des migraines, des insomnies et un état anxieux, il n'avait pas été diagnostiqué chez le demandeur de graves troubles de santé; du reste, il n'avait subi aucune incapacité de travail et était au contraire resté très actif dans son service. Statuant par arrêt du 3 avril 2013 sur le recours au sens des art. 319 ss CPC (RS 272) déposé par le demandeur contre ce jugement, l'Autorité de recours en matière civile du Tribunal cantonal du canton de Neuchâtel l'a rejeté. Elle a considéré que les premiers juges n'ont pas omis de prendre en compte des éléments importants du dossier, qu'ils ont au contraire examiné avec soin tous les événements sur lesquels le demandeur a fondé son action et qu'ils ont retenu, sans faire preuve d'arbitraire, qu'il n'y a pas eu d'agissements hostiles délibérés à son égard. Sur la base de cet état de fait, l'autorité cantonale a admis que n'étaient pas réunies les conditions pour que soit retenue l'existence du harcèlement psychologique prétendu. C. X._ exerce un recours constitutionnel subsidiaire au Tribunal fédéral contre cet arrêt. Il requiert l'annulation de cette décision et qu'il soit prononcé que le défendeur est condamné à lui verser le montant de 2'000 fr. à titre de tort moral avec intérêts à 5% l'an dès le 6 septembre 2007. L'intimé conclut à l'irrecevabilité du recours. Le recourant a répliqué, alors que l'intimé a renoncé à dupliquer.