Faits :
A.
A.a. Par arrêté du Conseil d'Etat de la République et canton de Neuchâtel du 22 avril 2009, A._ a été nommé chef du Service B._ avec effet au 1er septembre 2009. Par décision du 31 mai 2011, le Conseil d'Etat a mis fin à ses rapports de service pour le 31 août suivant, motif pris, notamment, de la rupture définitive de la confiance en ses capacités à conduire le Service B._ et à gérer le personnel.
A.b. A._ a recouru contre cette décision au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, qui l'a débouté par jugement du 21 mars 2012. Le Tribunal fédéral a rejeté le recours en matière de droit public qu'il a interjeté contre cet arrêt (cause 8C_369/2012).
A.c. En raison de l'effet suspensif attaché à son recours devant le Tribunal cantonal, A._ a continué à percevoir son salaire du 1 er septembre 2011 au 31 mars 2012, soit 87'512 fr. 50 au total, bien qu'il n'eût plus travaillé au service de l'Etat durant cette période. L'intéressé a remboursé à l'Etat un montant de 54'717 fr. 20 qu'il avait perçu de l'assurance-chômage. Le 21 janvier 2014, il a encore restitué la somme de 21'627 fr. 70, tout en indiquant que le solde encore dû, qu'il entendait compenser, correspondait à des frais de représentation non remboursés par l'employeur.
B.
Par écriture du 31 janvier 2014, l'Etat de Neuchâtel a introduit une action de droit administratif à l'encontre de A._. Il réclamait la restitution de 11'167 fr. 60 (87'512 fr. 50 - 54'717 fr. 20 - 21'627 fr. 70) avec intérêts à 5 % l'an depuis le 1er mai 2012. A cela s'ajoutaient les intérêts sur la somme de 54'717 fr. 20 du 1er mai 2012 au 18 septembre 2012 (1'048 fr. 75) et les intérêts sur la somme de 21'627 fr. 70 du 1er mai 2012 au 20 janvier 2014 (1'892 fr. 40).
Le défendeur a conclu, principalement, au rejet de la demande. Il invoquait la compensation, faisant valoir que le montant de 11'167 fr. 60 qui lui était réclamé devait être compensé avec des frais professionnels que devait lui rembourser le demandeur. Reconventionnellement, il concluait à la condamnation de l'Etat de Neuchâtel au paiement d'une somme de 20'000 fr., avec intérêts à 5 % l'an dès le 22 avril 2014, pour des prestations de travail impayées qu'il affirmait avoir fournies.
Par arrêt du 25 septembre 2015, la Cour de droit public a condamné A._ à payer au demandeur la somme de 11'167 fr. 60 avec intérêts dès le 1er mai 2002, ainsi que les intérêts calculés "au sens des considérants". Il a par ailleurs condamné l'Etat à verser à A._ la somme de 9'183 fr. 10 fr. au titre "de frais de déplacement au sens large".
C.
A._ interjette un recours en matière de droit public dans lequel il conclut à l'annulation de l'arrêt attaqué. Principalement, il prend les conclusions suivantes:
1. Dire et constater que les créances respectives des parties concernant les frais que l'Etat de Neuchâtel doit rembourser à A._, soit CHF 10'644.85, et concernant les salaires perçus à tort que A._ doit rembourser à l'Etat de Neuchâtel, soit 11'167.60 fr, sont compensés.
2. Condamner l'Etat de Neuchâtel à payer à Monsieur A._ la somme de CHF 20'000.- avec intérêts à 5 % l'an dès le 22 avril 2014, sous déduction du solde résultant de la compensation de la conclusion numéro 2.
Subsidiairement, le recourant conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision.
L'Etat de Neuchâtel conclut au rejet du recours.

Considérant en droit :
1.
1.1. Dans les affaires pécuniaires concernant le droit de la fonction publique, le recours en matière de droit public est recevable à condition que la valeur litigieuse s'élève à 15'000 fr. au moins (art. 83 let. g LTF a contrario en corrélation avec l'<ref-law>). Cette valeur est déterminée d'après les conclusions restées litigieuses devant l'autorité précédente (<ref-law>), à l'exception des frais judiciaires et des dépens qui sont réclamés comme droits accessoires (<ref-law>).
1.2. Le montant de la demande principale et celui de la demande reconventionnelle ne sont pas additionnés (<ref-law>), de sorte que la recevabilité du recours est en principe déterminée séparément pour chacune de ces actions. Sont déterminants les montants effectivement réclamés par chaque partie. Lorsque le défendeur reconnaît en soi la créance du demandeur, mais lui oppose en compensation une créance contestée, la première reste litigieuse et son montant détermine la valeur de la demande principale, tandis que l'excédent de la créance opposée en compensation, s'il est réclamé, détermine la valeur de la demande reconventionnelle (cf. <ref-ruling> consid. 1a; arrêt 4A_94/2013 du 29 août 2013 consid. 1; JEAN-MAURICE FRÉSARD, in Commentaire de la LTF, 2ème éd., 2014, n° 7 ss ad <ref-law>; JEAN-FRANÇOIS POUDRET, in Commentaire de la loi fédérale d'organisation judiciaire, vol. II, 1990, n. 2.3 ad art. 47 OJ). En d'autres termes, seuls les montants effectivement réclamés entrent en considération, et non ceux invoqués à titre compensatoire (BERNARD CORBOZ, Le recours en réforme au Tribunal fédéral, SJ 2000 II 1ss, p. 27).
1.3. En l'espèce, le recourant a conclu en procédure cantonale au rejet de la demande en paiement de l'Etat de 11'167 fr. 60 (non compris des intérêts). Il reconnaissait devoir ce montant mais il invoquait la compensation avec des remboursements de frais professionnels qu'il affirmait avoir encourus pour un montant équivalent. Il a également conclu à la condamnation de l'Etat de Neuchâtel au paiement d'une somme de 20'000 fr. (avec intérêts) au titre de paiement d'un salaire pour une activité qu'il prétendait avoir déployée avant son entrée en fonction. Au total, sa créance s'élevait à 31'167 fr. 60. La valeur litigieuse équivaut donc à la différence entre ce montant et celui reconnu de 11'167 fr. 60, soit 20'000 fr., entièrement contestés par l'Etat. En d'autres termes, le seuil légal de 15'000 fr. est atteint.
2.
Le Tribunal fédéral ne peut revoir les questions de droit cantonal que sous l'angle restreint de l'arbitraire (sur cette notion, voir <ref-ruling> consid. 6.1 p. 205; <ref-ruling> consid 3.2.5 p. 339; <ref-ruling> consid. 4.3 p. 319), dans le cadre d'un moyen pris de la violation d'un droit constitutionnel (cf. art. 95 et 96 LTF a contrario), expressément soulevé et développé conformément aux exigences de motivation accrues prévues à l'<ref-law>. Celles-ci imposent au recourant d'expliquer de manière claire et précise en quoi le droit constitutionnel aurait été violé (cf. <ref-ruling> consid. 2.3 p. 387; <ref-ruling> consid. 2.2 p. 69).
3.
3.1. A l'appui de sa conclusion tendant au versement d'un montant de 20'000 fr., le recourant se plaint d'une violation de son droit constitutionnel à la protection de la bonne foi (art. 9 Cst.). Il soutient qu'il a déployé une activité importante, mais non rémunérée, pour le compte de l'Etat de Neuchâtel entre le 23 avril 2009 et le 31 août 2009. La preuve de cette activité a été selon lui rapportée par les pièces déposées au dossier. En particulier, un courriel de C._ (son prédécesseur) du 19 avril 2009 indiquait qu'à partir du mois de mai 2009, il allait être formé et recevoir des dossiers à traiter avant même son entrée en service officielle. Le recourant affirme avoir été sollicité par le canton pour accomplir un grand nombre de tâches en remplacement de C._, alors hospitalisé. Le comportement de l'Etat aurait éveillé chez lui une attente légitime de recevoir une rémunération pour ce travail.
3.2. Les premiers juges n'ont pas méconnu le fait que le recourant a déployé, selon leurs propres termes, une "certaine activité" avant son entrée en fonction. Toutefois, se référant au courriel précité de C._, ils retiennent qu'il s'agissait de contacts professionnels pour assurer la formation générale de l'intéressé et la transmission de nouveaux dossiers. Ils constatent en outre que, pour le même but de formation, l'intéressé a participé, avant sa nomination, à deux séances de l'organe cantonal de conduite en cas de catastrophe et de situation d'urgence (ORCAN).
3.3. Sur la base de ces constatations de fait, qui lient la Cour de céans (<ref-law>), on doit retenir que l'activité déployée s'inscrivait dans une introduction du recourant à son futur poste de travail. Il n'était certainement pas arbitraire d'admettre que cette phase préalable au début effectif et juridique des rapports de travail ne devait pas être rémunérée dans l'esprit des parties, sous réserve du remboursement de certains frais. Un sérieux indice dans ce sens réside dans le fait que le recourant a prétendu une rémunération à ce titre qu'après avoir été licencié et en réaction à l'introduction de la demande en paiement de l'Etat de Neuchâtel. Il n'est en tout cas pas établi qu'il ait reçu des assurances de la part de son ex-employeur quant au paiement d'un salaire pour une période antérieure à son entrée en fonction. Comme il ne peut se prévaloir d'aucune promesse concrète qui lui aurait été donnée, il ne saurait, déjà pour ce motif, bénéficier du droit à la protection de la bonne foi (cf. p. ex. <ref-ruling> consid. 6.1 p. 636).
3.4. En droit, la juridiction cantonale a souligné que le droit au traitement ne prenait naissance qu'au début des rapports de service (art. 2 al. 1 du règlement [du canton de Neuchâtel] du 9 mars 2005 concernant les traitements de la fonction publique (RTPF; RS/NE 152.511.10). Le recourant n'y oppose qu'une argumentation factuelle. Il n'indique pas, précisément, sur quel fondement juridique l'Etat de Neuchâtel devrait lui verser la somme demandée, alors que cette démonstration lui incombe (cf. <ref-law>).
3.5. Le grief soulevé ici par le recourant se révèle mal fondé.
4.
4.1. Le recourant reproche à la juridiction cantonale d'avoir condamné l'Etat à lui rembourser qu'une partie (9'183 fr. 10) de ses frais. En plus de ces frais déjà reconnus, l'Etat devrait encore lui rembourser 1'461 fr. 75, soit 1'173 fr. 75 de frais de téléphone et 288 fr. pour des achats de timbres. Le montant total de sa créance s'élèverait donc 10'644 fr. 85 (9'183 fr. 10 + 1'461 fr. 75).
4.2. La cour cantonale a relevé à ce propos que le remboursement de ces frais n'était pas réglé dans la législation neuchâteloise. Pour le surplus, elle a considéré que les frais de téléphone allégués ne pouvaient de toute façon pas être remboursés, parce que le recourant n'avait jamais fourni les justificatifs demandés. Il en allait de même des frais de timbres, car ceux-ci auraient dû faire l'objet d'une commande auprès du service des achats de l'Etat.
4.3. Le recourant objecte que son prédécesseur se faisait, quant à lui, rembourser des frais "de même nature" sans pour autant rencontrer d'opposition. Il était dès lors en droit de s'attendre, de bonne foi, à être traité de la même manière. Le refus soudain de l'Etat de rembourser certains frais s'apparenterait à un comportement contradictoire de l'autorité et constituerait une violation du principe de la bonne foi, qui n'a pas été reconnue, à tort selon le recourant, par la Cour de droit public.
4.4. Ces considérations ne suffisent cependant pas, à elles seules, à rendre arbitraire la solution de la juridiction cantonale. En particulier, le seul fait que l'Etat aurait remboursé des frais de même nature au prédécesseur du recourant ne suffit pas à fonder un droit à la protection de la bonne foi, faute - ici également - de promesses ou d'assurances sur lesquels il aurait pu se fonder.
5.
5.1. Pour le cas où les preuves au dossier ne permettraient pas au Tribunal fédéral de retenir que l'Etat de Neuchâtel doit le rémunérer pour le travail effectué avant le 1er septembre 2009 et lui rembourser des frais à hauteur de 10'644 fr. 85, le recourant invoque une violation de son droit d'être entendu. Il fait valoir que, dans sa réponse et demande reconventionnelle, il avait sollicité l'audition de quatre témoins et requis divers documents de l'Etat de Neuchâtel. En particulier, l'audition des témoins aurait permis de démontrer l'ampleur de l'activité qu'il a déployée et d'être renseigné sur la manière de procéder de l'Etat à propos du remboursement des frais de son prédécesseur. Rejetant ces offres de preuves, la Cour de droit public aurait violé son droit d'être entendu.
5.2. Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (cf. <ref-ruling> consid. 6.3.1 299 et la jurisprudence citée).
5.3. Comme on l'a vu, même en admettant que le recourant ait déployé une certaine activité avant son entrée en service, les premiers juges pouvaient conclure, sans arbitraire, que cette activité ne donnait pas lieu à rémunération. Les preuves proposées n'étaient donc pas pertinentes pour la solution du litige. Il en va de même en ce qui concerne le remboursement des frais litigieux: ainsi qu'on l'a vu également, il importe peu de savoir, au regard du grief tiré du droit à la protection de la bonne foi, si le prédécesseur du recourant s'est vu ou non rembourser des frais de même nature que ceux dont le recourant prétend le remboursement. Dans ces conditions, l'instance précédente était fondée à considérer, par une appréciation anticipée des preuves qui échappe au grief d'arbitraire, que les faits de la cause étaient suffisamment établis par les pièces figurant au dossier (sur l'appréciation anticipée des preuves: <ref-ruling> consid. 5.3 p. 236; cf. aussi <ref-ruling> consid. 2.2 p. 210).
6.
6.1. Le recourant reproche enfin aux premiers juges de ne pas avoir opéré compensation entre la créance de l'Etat et sa créance (reconnue par le tribunal) en remboursement de frais de déplacement. Les premiers juges auraient appliqué en l'espèce "à la lettre" l'<ref-law>, au lieu de tenir compte de son but.
6.2. Comme le relève la cour cantonale, l'art. 37 RTPF contient certaines règles en matière de compensation et renvoie pour le surplus aux dispositions du code des obligations. L'<ref-law>, selon lequel les créances dérivant du droit public en faveur de l'Etat et des communes ne peuvent être éteintes par compensation contre la volonté du créancier, n'est ici applicable qu'à titre de droit cantonal supplétif (cf. <ref-ruling> consid. 2.4 p. 236). Son application par la cour cantonale n'est donc examinée par le Tribunal fédéral que sous l'angle d'une violation de l'interdiction constitutionnelle de l'arbitraire (voir par exemple arrêt 6B_950/2014 du 18 septembre 2015 consid. 1.1). Or, le recourant ne cherche aucunement à démontrer en quoi il était arbitraire de refuser la compensation sur la base de l'<ref-law>, dont le texte est au demeurant parfaitement clair.
7.
De ce qui précède, il résulte que le recours est mal fondé.
Comme le fait remarquer le recourant, le dispositif de l'arrêt cantonal contient une erreur de frappe - qu'il convient de rectifier - dans le sens que l'intérêt sur la somme de 11'167 fr. 60 est due dès le 1er mai 2012 (et non 2002).
8.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Le chiffre 2 du dispositif de l'arrêt cantonal est rectifié en ce sens que les intérêts sont dus à partir du 1er mai 2012.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public.
Lucerne, le 20 juin 2016
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl