A.- Par décision du 25 août 1999, le Conseil d'Etat du canton de Neuchâtel a ordonné à G._, responsable du service du contentieux de la Caisse cantonale neuchâteloise de compensation (CCNC), la cessation immédiate de toute activité et résilié ses rapports de service avec effet au 30 novembre 1999. G._ a interjeté recours devant le Tribunal administratif du canton de Neuchâtel, qui l'a débouté le 5 novembre 1999. B.-Agissant par la voie du recours de droit public, G._ invoque la violation de son droit d'être entendu et demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif. Le Conseil d'Etat et le Tribunal administratif concluent au rejet du recours.