Faits:
A.
A.a. Par contrat de travail de droit privé du 13 septembre 2007, le Département de la gestion du territoire du canton de Neuchâtel a engagé A._ en qualité d'aide-concierge auxiliaire à temps partiel au service de l'intendance des bâtiments universitaires, pour la période du 24 septembre au 31 décembre 2007. A la suite du transfert du service des bâtiments au sein de l'Université de Neuchâtel, A._ a été engagé à partir du 1 er janvier 2008 en qualité d'aide-concierge à temps complet, à titre provisoire, au Bureau de l'intendance des bâtiments universitaires.
Par courrier du 13 juillet 2009, faisant suite à un entretien d'évaluation ayant eu lieu le 25 juin 2009, A._ a été invité par le responsable du service intendance et logistique à améliorer la qualité de ses prestations et à faire preuve de plus de dynamisme et d'engagement dans l'accomplissement de ses activités. Un nouveau point de la situation a été fait le 18 septembre 2009, à l'issue duquel A._ s'est vu informé, dans un courrier du 24 septembre 2009, que les progrès constatés restaient insuffisants et qu'il était invité à améliorer ses prestations.
Par lettre du 2 octobre 2009, le Directeur administratif de l'Université a annoncé à A._ qu'une résiliation des rapports de travail durant la période provisoire était envisagée et qu'un délai de 15 jours lui était accordé pour s'exprimer par écrit. Dans le délai imparti, A._ a déposé ses observations, contestant en particulier le fait que l'Université avait laissé s'écouler une période de 18 mois avant de lui reprocher que son travail n'était pas satisfaisant.
Par décision du 13 novembre 2009, l'Université de Neuchâtel a résilié les rapports de service de A._ avec effet au 31 janvier 2010, en raison de l'insuffisance de ses prestations.
A.b. A._ a interjeté un recours contre cette décision devant le Département de l'éducation, de la culture et des sports (ci-après: le DECS).
Par décision du 9 juillet 2010, le DECS a rejeté le recours.
B.
A._ ayant recouru contre cette décision, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel l'a débouté par arrêt du 17 janvier 2011.
C.
A._ interjette un recours en matière de droit public assorti d'une requête d'effet suspensif. Il demande au Tribunal fédéral d'annuler l'arrêt cantonal et la décision du DECS du 9 juillet 2010, ainsi que celle de l'Université de Neuchâtel du 13 novembre 2009.
L'Université de Neuchâtel conclut implicitement au rejet du recours.
D.
La demande d'effet suspensif a été rejetée par ordonnance du juge instructeur du 21 avril 2011.

Considérant en droit:
1.
1.1. Selon l'art. 83 let. g LTF, en matière de rapports de travail de droit public (lorsque, comme en l'espèce, la question de l'égalité des sexes n'est pas en cause), le recours en matière de droit public est irrecevable contre les décisions qui concernent une contestation non pécuniaire. Le litige soumis à l'autorité cantonale ne porte pas sur le versement d'une somme d'argent mais sur l'annulation d'une décision de résiliation. Dans cette mesure, il s'agit d'une contestation pécuniaire et le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_907/2010 du 8 juillet 2011 consid. 1 et 8C_170/2009 du 25 août 2009 consid. 1.1). Par ailleurs, la valeur litigieuse dépasse le seuil de 15'000 fr. requis en matière de rapports de travail de droit public (art. 85 al. 1 let. b LTF).
1.2. Pour le surplus, interjeté en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF), le recours en matière de droit public est rece-vable.
2.
Le litige porte sur la résiliation des rapports de travail du recourant, singulièrement sur les dispositions légales applicables à cette dernière.
3.
3.1. Sous le titre marginal «Contrats de droit privé», l'art. 7 al. 1 de la loi sur le statut de la fonction publique du 28 juin 1995 (LSt; RSN 152.510) prévoit ceci:
Le Conseil d'Etat ou l'autorité qu'il désigne à cet effet peut, à titre exceptionnel, engager du personnel par contrat de droit privé, notamment pour l'exécution de tâches spéciales, ou de durée limitée, ou encore pour assurer le remplacement temporaire d'un titulaire de fonction publique.
Quant à l'art. 8 LSt, intitulé «Définition», il a la teneur suivante:
Est titulaire de fonction publique au sens de la présente loi toute personne faisant l'objet d'un engagement provisoire ou d'une nomination à temps complet ou à temps partiel.
Sous le titre «Engagement provisoire», l'art. 12 LSt dispose ce qui suit:
1La nomination est précédée d'un engagement provisoire d'une durée de deux ans qui constitue la période probatoire.
2La période probatoire peut être abrégée ou supprimée lorsque l'autorité de nomination estime qu'elle ne se justifie pas.
3Durant la période probatoire, chaque partie peut signifier son congé à l'autre moyennant un avertissement donné par écrit au moins deux mois à l'avance pour la fin d'un mois. Le congé ne doit pas être abusif, au sens de l'art. 336 du code des obligations.
3.2. Les premiers juges ont considéré que la question de savoir si c'était à tort ou à raison que le recourant avait été engagé par un contrat de travail de droit privé en date du 13 septembre 2007 échappait à leur examen car ce contrat ne constituait pas l'objet de la contestation. D'autre part, il ne liait pas l'Université, établissement public autonome, qui ne pouvait répondre du choix de l'Etat de Neuchâtel. Selon eux, le recourant n'étant pas titulaire de fonction publique au sens de l'art. 8 LSt au moment de sa nomination par l'Université en qualité d'aide-concierge, celle-ci devait être précédée d'un engagement provisoire d'une durée de deux ans qui avait débuté le 1 er janvier 2008. Intervenue le 13 novembre 2009, la résiliation litigieuse devait par conséquent respecter l'art. 12 al. 3 LSt, à l'exclusion des art. 37 ss LSt.
4.
Par un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu pour défaut de motivation du jugement entrepris, en tant que celui-ci n'aurait examiné aucun des arguments soulevés dans son mémoire de recours.
4.1. La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.) le devoir pour le juge de motiver sa décision, afin que le justiciable puisse la comprendre, la contester utilement s'il y a lieu et exercer son droit de recours à bon escient. Pour répondre à ces exigences, le juge doit mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il n'a toutefois pas l'obligation d'exposer et de discuter tous les arguments invoqués par les parties (<ref-ruling> consid. 4.1 p. 88 et les arrêts cités). Il n'y a violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner les problèmes pertinents (cf. arrêt 2A.783/2006 du 23 janvier 2008 consid. 4.1).
4.2. Dans son recours à l'autorité cantonale, le recourant s'est longuement attaché à démontrer que sa période d'engagement provisoire avait pris fin le 24 septembre 2009, soit deux ans après son engagement par l'Etat, de sorte que son licenciement ne pouvait pas être prononcé en application de l'art. 12 al. 3 LSt. Le congé aurait dû respecter les conditions et la procédure prévues aux art. 45 ss (renvoi pour justes motifs ou pour raisons graves). Le recourant a fait valoir, en particulier, que le contrat de travail de droit privé avec l'Etat de Neuchâtel avait été conclu sans que les conditions de l'art. 7 LSt ne fussent remplies. Le contrat de travail signé le 13 septembre 2007 constituait donc, en réalité, un engagement de droit public, dont la période probatoire avait débuté le 24 septembre 2007. Il a par ailleurs allégué que ses collègues chargés comme lui de l'entretien des bâtiments universitaires avaient quant à eux vu leurs contrats de travail transférés sans autres formalités de l'Etat à l'Université.
Cette argumentation n'était pas d'emblée dépourvue de pertinence pour l'issue du litige. Même si l'Université est un établissement public autonome, il n'en reste pas moins que son personnel administratif et technique est soumis à la LSt (art. 72 al. 3 de la loi sur l'Université du 5 novembre 2002 [RSN 416.10]) au même titre que les agents de l'administration cantonale (art. 3 al. 1 let. a LSt). Si le recourant devait, comme il le prétend, être soumis dès l'origine à un rapport de droit public, la prise en compte de sa période d'activité antérieure au 1 er janvier 2008 dans le calcul de la période probatoire de deux ans ne peut être totalement exclue. La juridiction cantonale ne pouvait donc se dispenser d'examiner le grief du recourant tiré de la non-conformité au droit de son engagement initial. A défaut, il lui appartenait au moins d'expliciter les motifs pour lesquels la thèse défendue par le recourant était sans incidence sur le litige. A elle seule, la référence au statut d'autonomie de l'Université ne suffit pas à le démontrer du moment que les autres employés chargés de l'entretien des bâtiments universitaires (concierges responsables, aides-concierges, auxiliaires de conciergerie) n'ont semble-t-il pas accompli une nouvelle période probatoire à compter du 1 er janvier 2008 (voir les déterminations de la rectrice de l'Université du 16 février 2010 à l'intention de l'autorité cantonale de première instance). Le jugement attaqué n'est donc pas suffisamment motivé sur le thème central du litige et ne permet donc pas un examen par le Tribunal fédéral sur le point de savoir si la période probatoire de deux ans était ou non échue au moment de la résiliation. Il convient donc - sans que cela ne préjuge en rien l'issue du litige - d'annuler le jugement attaqué et de renvoyer la cause à la juridiction cantonale pour qu'elle reprenne l'examen du recours et statue à nouveau sur celui-ci.
5.
Vu l'issue du litige, les frais de justice doivent être supportés par l'intimée qui succombe (art. 66 al. 1, première phrase, LTF). Celle-ci versera également une indemnité au recourant à titre de dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis en ce sens que le jugement de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel du 17 janvier 2011 est annulé, la cause étant renvoyée à cette juridiction pour nouvelle décision dans le sens des considérants.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant une indemnité de 2'800 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 12 décembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin