Faits: A. A.a. N._, architecte indépendant, a été engagé, le 1 er novembre 2006, par l'Université de Neuchâtel au domaine X._. Il a été nommé à ce poste à partir du 1 er novembre 2008. Au cours du mois de septembre 2010, le prénommé a été informé oralement par son supérieur hiérarchique, D._, chef du Département X._, de l'intention du Rectorat de supprimer son poste. Par lettre du 9 septembre 2010, la rectrice de l'Université a confirmé cette intention, motivée par la situation économique difficile du canton de Neuchâtel, qui avait demandé à l'Université de réaliser des économies substantielles. La rectrice indiquait avoir été amenée, en collaboration avec le Rectorat, à prendre plusieurs décisions de restructuration, notamment au niveau du domaine central. Les Facultés, quant à elles, avaient déjà participé et participaient toujours intensivement à l'effort d'économie exigé par le canton. En ce qui concerne le secteur des bâtiments à l'Université, il était désormais scindé en deux unités distinctes: le bureau de l'intendance et la logistique en charge des tâches opérationnelles liées aux bâtiments universitaires et le bureau de l'architecte, responsable des projets dans le domaine des bâtiments. Or, à l'heure actuelle et toujours selon la rectrice, il n'y avait plus suffisamment de tâches ou de projets d'envergure à confier à un poste tel que celui occupé par N._. En effet, les travaux de transformation de l'Alma Mater (bâtiment central et historique de l'Université) étaient terminés et plus aucun projet de transformations importantes ou de nouvelles constructions sous la responsabilité de l'Université n'étaient à l'ordre du jour. Aussi bien la rectrice envisageait-elle de mettre fin aux rapports de travail de l'intéressé. Celui-ci était invité à faire part de ses observations écrites. Par l'intermédiaire de son avocat, N._ s'est déterminé par lettre du 29 septembre 2010. Il a fait valoir qu'il avait rencontré de sérieux problèmes avec D._, tant au niveau professionnel que relationnel. Il avait subi de nombreuses vexations et humiliations de la part de ce dernier. Il estimait avoir été victime de mobbing. C'est ainsi, affirmait-il, qu'au fil des mois, D._ lui avait retiré toute une série de tâches, sans que son cahier des charges ne fût pour autant formellement modifié. La résiliation de ses rapports de service devrait, le cas échéant, être considérée comme un abus de droit. A.b. Par décision du 10 novembre 2010, la rectrice a supprimé le poste occupé par N._ et, en conséquence, a résilié ses rapports de service avec effet au 31 mai 2011. Elle a contesté les reproches de mobbing. Sa décision s'appuyait sur les motifs suivants: Divers événements imprévisibles, tant au moment de la création du poste (2006) que de la nomination de l'intéressé en novembre 2008, avaient conduit à la suppression du poste en question. En effet, en dehors de la conduite des travaux de rénovation de l'Alma Mater, un autre projet d'envergure, dénommé " UniLac ", faisait partie des plans d'intentions du Rectorat pour la période 2009-2012. Ce plan prévoyait une réflexion sur la création d'un nouveau bâtiment universitaire pour les sciences humaines au sein duquel l'architecte de l'Université aurait joué un rôle prépondérant. Toutefois, le Conseil d'Etat n'avait pas souhaité qu'un tel projet se réalise dans le cadre du mandat d'objectifs d'alors. Depuis lors, la Ville de Neuchâtel, à l'occasion du réaménagement des Jeunes-Rives, avait retenu, à l'issue d'un concours européen, le projet " Europan-ring ", qui prévoyait la réalisation d'un bâtiment sur l'emplacement de l'ancien bâtiment " Panespo ". Il n'était pas exclu que l'Université puisse y disposer de locaux. Toujours est-il que la conception du projet échapperait totalement à l'Université. Le transfert au 1 er janvier 2009 de l'Institut de microtechnique (IMT) à l'Ecole polytechnique fédérale de Lausanne avait pour conséquence que l'Université n'était plus concernée par les projets de développement de cet institut. Enfin, d'autres transferts non prévus avaient eu lieu durant l'année 2008: les physiciens avaient été transférés à l'Université de Berne et les géologues à l'Université de Lausanne. A la suite de ces transferts, de nombreux déménagements avaient été entrepris à l'interne. Si ces déménagements avaient nécessité des travaux d'adaptation des locaux pour permettre d'y loger d'autres instituts (câblage électrique, peinture, etc), il ne s'était toutefois agi que de travaux de maintenance et de coordination qui ne nécessitaient pas l'intervention d'un architecte. Récemment pourtant, les travaux d'adaptation des locaux liés au transfert de l'IPTO (Institut de psychologie du travail et des organisations) et de l'AJM (Academy of journalism and medias) à " Unimail " avaient été confiés à N._ dans le but de l'occuper. Ces travaux étaient terminés. Des transferts de locaux à l'interne étaient encore prévus à fin 2013 et ne nécessitaient pas les compétences d'un architecte. En conclusion, il n'y avait plus aucun projet, même de moindre importance, à confier à l'intéressé dans le secteur des bâtiments. Il était donc absolument impossible de maintenir son poste, d'autant plus que les restrictions budgétaires imposées par le canton contraignaient le Rectorat à poursuivre ses efforts d'économie. B. Saisi d'un recours de l'intéressé contre cette décision, le Département de l'éducation, de la culture et des sports l'a rejeté par décision du 6 avril 2011. C. N._ a déféré cette décision à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel qui l'a débouté par jugement du 4 octobre 2012. D. Agissant par la voie du recours en matière de droit public, N._ demande au Tribunal fédéral d'annuler le jugement cantonal, ainsi que les décisions administratives des 6 avril 2011 et 10 novembre 2010. Le Rectorat de l'Université de Neuchâtel conclut implicitement au rejet du recours.