A.- Par décision du 25 août 1999, le Conseil d'Etat du canton de Neuchâtel a ordonné à G._, responsable du service du contentieux de la Caisse cantonale neuchâteloise de compensation (CCNC), la cessation immédiate de toute activité et résilié ses rapports de service avec effet au 30 novembre 1999. G._ a interjeté recours devant le Tribunal administratif du canton de Neuchâtel, qui l'a débouté le 5 novembre 1999.
B.-Agissant par la voie du recours de droit public, G._ invoque la violation de son droit d'être entendu et demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif. Le Conseil d'Etat et le Tribunal administratif concluent au rejet du recours.

Considérant en droit :
1.- Le Tribunal fédéral examine d'office et librement la recevabilité du recours de droit public (<ref-ruling> consid. 2a p. 16, 253 consid. 1a p. 254, 412 consid. 1a p. 414 et les arrêts cités).
Selon la jurisprudence relative à l'art. 88 OJ, seul a qualité pour agir celui qui est atteint par l'acte attaqué dans ses intérêts personnels et juridiquement protégés, garantis par une règle de droit fédéral ou cantonal ou directement par un droit fondamental spécifique. Selon la jurisprudence, l'interdiction générale de l'arbitraire découlant de l'art. 4 de l'ancienne Constitution fédérale (aCst. ) ne confère pas à elle seule la légitimation exigée par l'art. 88 OJ; le recourant doit encore se trouver dans la sphère de protection des normes dont il se prévaut (<ref-ruling> consid. 5b p. 42; <ref-ruling> consid. 2b p. 45 s et 3b/bb p. 47; <ref-ruling> consid. 2 p. 268 s; cf. aussi <ref-ruling> consid. 3a p. 93 s). A défaut de qualité sur le fond, le recourant peut se plaindre de la violation de garanties de procédure équivalant à un déni de justice formel. Dans un tel cas, l'intérêt juridiquement protégé exigé par l'art. 88 OJ découle non pas du droit de fond, mais du droit de participer à la procédure tel qu'il est reconnu par le droit cantonal ou, directement, par la Constitution. Un tel droit existe lorsque le recourant avait qualité de partie en procédure cantonale (<ref-ruling> consid. 3b p. 94; <ref-ruling> consid. 1 p. 26 s; <ref-ruling> consid. 1b p. 270; <ref-ruling> consid. 4a p. 223 et les arrêts cités).
Le recourant avait qualité de partie en procédure cantonale, et il invoque son droit d'être entendu. Selon la jurisprudence portant sur l'art. 4 aCst. , il aurait donc qualité pour agir. Il n'y a pas lieu de s'interroger sur le maintien de cette jurisprudence après l'entrée en vigueur, le 1er janvier 2000, de la nouvelle Constitution fédérale du 18 avril 1999 (Cst. ).
Les autres conditions posées à la recevabilité du recours de droit public sont également satisfaites.
2.- Le recourant invoque son droit d'être entendu. Il se plaint de ne pas avoir pu participer suffisamment à l'enquête qui a abouti à la résiliation de ses rapports de service. En outre, on ne lui aurait pas fait part clairement des faits et omissions reprochés, de sorte qu'il n'aurait pas pu se défendre correctement. Enfin, les instances cantonales auraient rejeté arbitrairement les témoignages sollicités.
a) La portée du droit d'être entendu et les modalités de sa mise en oeuvre sont tout d'abord déterminées par la législation cantonale, dont le Tribunal fédéral revoit l'application sous l'angle restreint de l'arbitraire. Il examine en revanche librement si les garanties minimales consacrées par le droit constitutionnel fédéral ont été respectées (pour l'art. 4 aCst. : <ref-ruling> consid. 3a p. 259; <ref-ruling> consid. 3a p. 51, 241 consid. 2 i.f. p. 242 s et les arrêts cités). Les normes du droit cantonal invoquées ici par le recourant (art. 21 de la loi neuchâteloise sur la procédure et la juridiction administratives [LPJA; RSN 152. 130] et art. 47 de la loi neuchâteloise sur le statut de la fonction publique du 28 juin 1995 [LSt. /NE]) n'ont pas de portée propre (pour l'art. 21 LPJA: Robert Schaer, Juridiction administrative neuchâteloise, Neuchâtel 1995, p. 96). C'est donc à la lumière des garanties minimales de droit fédéral qu'il convient d'examiner ce recours, et ce en se fondant sur la jurisprudence concernant l'art. 4 aCst. , la nouvelle Constitution n'ayant pas amené de changements à cet égard (cf. art. 29 al. 1 et 2 Cst. ; Bull. Off. CN 1998, Réforme de la Constitution fédérale, p. 234; Bull. Off. CE 1998, Réforme de la Constitution fédérale, p. 50 s.).
b) Le droit d'être entendu comprend le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, de fournir des preuves quant aux faits pertinents, d'avoir accès au dossier, de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (ATF <ref-ruling> consid. 3a p. 51; <ref-ruling> consid. 2a p. 66: 123 II 175 consid. 6c p. 183 s; <ref-ruling> consid. 2a p. 112; <ref-ruling> consid. 6b p. 286 et les arrêts cités). A ce droit du justiciable de prendre part à la procédure correspondent certains devoirs de prestation des autorités (cf. <ref-ruling> consid. 1d p. 162). Ainsi, celles-ci doivent accueillir les preuves produites, se déterminer sur les conclusions déposées, ou encore motiver leurs arrêts et jugements (cf. par ex. <ref-ruling> consid. 2a p. 149; <ref-ruling> consid. 3b p. 308). Le droit de faire administrer des preuves n'empêche pas cependant le juge de procéder à une appréciation anticipée des preuves offertes, s'il a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4 p. 469; <ref-ruling> consid. 2b p. 229). Le refus d'administration de preuves ne viole le droit d'être entendu du recourant que si l'appréciation à laquelle l'autorité a ainsi procédé apparaît entachée d'arbitraire (<ref-ruling> consid. 4a p. 211; <ref-ruling> consid. 1d p. 162 et les arrêts cités).
3.- a) Que l'enquête menée au sein de la CCNC ait spécialement visé à éclaircir le comportement du recourant ou non, son droit de participation à la procédure a été respecté. Le Tribunal administratif a constaté qu'après un incident survenu pendant l'apéritif de Noël de la CCNC en décembre 1998, le chef du Département de l'économie publique (DEP) a confié le dossier à son secrétaire général. Celui-ci a rencontré l'apprentie qui s'était plainte du comportement du recourant durant ledit apéritif. Suite à la critique plus générale de cette dernière, confirmée par le directeur adjoint de la CCNC, le chef du DEP a étendu l'investigation à l'ensemble du service du contentieux. Le 3 et le 10 février 1999, divers employées et employés de ce service, dont le recourant, ont été interrogés. Le recourant, qui jusque-là n'avait pas pu participer à l'enquête, en eut l'occasion par la suite: le 29 mars 1999, après avoir pris sa déposition, la direction de la CCNC envoya au recourant le dossier complet et un résumé des entretiens menés par le secrétaire général, en lui accordant un délai de dix jours pour adresser - si nécessaire avec l'aide d'un mandataire - des observations écrites. Le recourant eut de plus l'occasion d'assister aux dépositions du 12 mai 1999.
Le droit d'être entendu n'accorde pas de prérogatives plus étendues. L'auteur cité par le recourant (André Grisel, Traité de droit administratif, Neuchâtel 1984, vol. I, p. 385) déduit du droit d'être entendu celui d'assister à l'audition des (de tous les) témoins. On ne saurait cependant y voir une règle absolue. Ainsi, Pierre Moor n'évoque pour sa part que le droit de l'intéressé de s'exprimer sur les moyens et les preuves invoqués par l'autorité, à l'administration desquelles il pourra assister ou sur lesquelles il pourra se déterminer (Pierre Moor, Droit administratif, vol. II, Berne 1991, p. 188; cf. aussi Alfred Kölz/Isabelle Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2ème éd., Zurich 1998, n. 29 et 129 ss). Cela n'implique pas le droit à une confrontation directe. Le recourant ne fait pas valoir de circonstances particulières rendant sa présence aux auditions indispensable à sa défense. En outre, sur le vu des pièces du dossier, rien ne permet d'affirmer que les autorités cantonales aient délibérément cherché à recueillir les divers témoignages à l'insu du recourant. A ce stade de l'enquête, on ne saurait reprocher aux instances cantonales de ne pas avoir accordé au recourant une position privilégiée. Enfin, sous réserve des témoignages sollicités (cf. consid. 3c infra), le recourant ne se plaint pas de ce que les instances cantonales n'auraient pas pris connaissance ou pas tenu compte de ses observations; le droit d'être entendu lui a été accordé à temps, avant la résiliation des rapports de service.
b) Comme le fait valoir le recourant, la lettre du 22 mars 1999 ne contenait pas de liste détaillée des faits ou omissions reprochés. Cependant, elle renvoyait aux "faits relevés dans les différents procès-verbaux" ainsi qu'au comportement reconnu par le recourant lors de son interrogatoire du 22 mars 1999, et indiquait que ces faits entraînaient une rupture des rapports de confiance. S'étant vu remettre le dossier complet, le recourant ne saurait prétendre ne pas avoir été clairement mis au courant de ce qu'on lui reprochait et de ne pas avoir été à même de se défendre correctement. Ce d'autant moins que les divers comportements relatés ne laissaient aucun doute quant à leur caractère déplacé.
Ce résultat est également compatible avec l'art. 47 LSt. /NE, selon lequel, avant de prendre sa décision, l'autorité de nomination entend l'intéressé en lui indiquant les faits ou omissions qui lui sont reprochés.
c) Enfin, le rejet par les autorités cantonales des témoignages sollicités n'est pas arbitraire. Le recourant ne spécifie pas en quoi les déclarations des personnes en question, et en particulier de B._ qui ne put être auditionné pour des raisons médicales, seraient susceptibles de contredire ou de compléter les témoignages recueillis par le secrétaire général. Sur la demande du recourant, il a tout de même été procédé à l'audition de trois personnes, dont une n'a pas parlé en sa faveur et dont deux ont exposé ne pas avoir eu de problèmes avec le recourant. Ces dernières n'ont cependant pas apporté d'éléments susceptibles de jeter une autre lumière sur les déclarations déjà recueillies. Dans ces circonstances, les instances cantonales pouvaient renoncer aux autres auditions sollicitées sans violer le droit à la preuve du recourant.
4.- Sur le vu de ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, sera condamné à un émolument judiciaire de 3'000 fr. (art. 156 al. 1 en relation avec les art. 153 et 153a OJ). Il ne sera pas attribué de dépens (art. 159 al. 2 OJ).

Par ces motifs,
le Tribunal fédéral :
1.- Rejette le recours.
2.- Met un émolument judiciaire de 3'000 fr. à la charge du recourant.
3.- Communique le présent arrêt en copie au mandataire du recourant, au Conseil d'Etat ainsi qu'au Tribunal administratif du canton de Neuchâtel.
_
Lausanne, le 3 février 2000
CAM/col
Au nom de la Ie Cour de droit public
du TRIBUNAL FEDERAL SUISSE:
Le Président,
La Greffière,