Faits : A. X._ exerce la profession d'avocat à titre indépendant dans le canton de Neuchâtel. Il représente S., auquel l'Office de recouvrement et d'avances des contributions d'entretien de la République et canton de Neuchâtel (ci-après: l'Office de recouvrement) réclame le versement de pensions pour un enfant fixées dans un jugement du 11 juin 2004. Dans le cadre de cette procédure, X._ a communiqué audit office, par lettre du 11 juin 2012, que l'ordonnance condamnant son client avait été notifiée dans des conditions douteuses, de sorte qu'il avait déposé une demande de restitution de délai auprès du tribunal et qu'en l'état la pension n'était donc pas due. Le 19 juin 2012, une fonctionnaire de l'Office de recouvrement (ci-après: la fonctionnaire ou l'intéressée) en charge du dossier lui a répondu que le jugement du 11 juin 2004 était en force et que divers documents démontraient que S. savait qu'il devait une pension pour son fils; il était, en outre, surprenant que X._ ait accepté de défendre S. alors qu'il avait ordonné la garde à vue de celui-ci en qualité d'officier de la police judiciaire à l'époque de la procédure pénale; une plainte pénale pour violation de l'obligation d'entretien serait déposée si la pension courante n'était pas payée dans les dix jours. Par courrier du 28 juin 2012, X._ a rétorqué à cette fonctionnaire ce qui suit: - .. Peut-être que votre irritabilité vous aura empêchée de lire la première phrase de mon courrier du 11 juin 2012 par lequel je vous informais avoir requis le dossier. Ainsi je vous confirme qu'une requête en restitution de délai, pour défaut de notification, a été introduite par devant l'APEA le 6 juin 2012, de sorte que votre premier paragraphe me consterne tant il reflète une affirmation contraire à la réalité, qui m'inquiète quant à votre capacité de suivre ce dossier. En effet, mais peut-être l'ignoriez-vous, la procédure actuellement conduite par moi-même pour le compte de M. S. est une procédure civile dans laquelle n'apparaît d'aucune manière un dossier pénal, fût-il intitulé MPxxxx. Me B. a probablement représenté dans cette procédure pénale-là M. S., mais d'aucune manière il n'avait la qualité, à défaut de procuration, d'intervenir dans le dossier civil pour lequel aujourd'hui, mon client conteste la recevabilité. Votre doux mélange des genres, regrettable mais surtout maladroit, entre une éventuelle activité que j'aurais pu déployer auparavant et mon mandat de ce jour, me confirme dans les propos pré-rappelés en préambule de cet écrit. Votre affirmation selon laquelle "M. S. sait donc pertinemment qu'il doit payer une pension pour son fils et cela à tout le moins depuis juin 2006" est parfaitement grotesque et je me pose la question de votre indépendance par rapport à mon client, respectivement de la nécessité qui sera la vôtre de vous récuser dans toute procédure en lien avec M. S. Quant à la façon dont j'entends assumer les mandats qui me sont confiés, elle ne regarde que moi et je vous fixe un délai de 24 heures dès réception du présent fax pour retirer vos propos, faute de quoi une suite judiciaire sera donnée à la présente. Vous souhaitant bonne réception de la présente je vous prie de croire, Madame, à l'expression de ma consternation la plus sincère." Saisie par la fonctionnaire de l'Office de recouvrement, l'Autorité de surveillance des avocats de la République et canton de Neuchâtel (ci-après: l'Autorité de surveillance) a, par décision du 28 août 2013, prononcé un avertissement à l'encontre de X._. Elle a retenu que l'avocat avait violé l'obligation générale de courtoisie dans son comportement envers les autorités et les parties adverses, en ce sens que certains des passages de sa lettre du 28 juin 2012 n'étaient pas admissibles et relevaient d'un mouvement d'humeur inutile, déplacé et discourtois; a priori, le fait que l'avocat représentait un client dont il avait ordonné la garde à vue lorsqu'il était officier de la police judiciaire ne constituait pas un conflit d'intérêt. B. Par arrêt du 11 février 2014, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) a rejeté le recours de X._. Il a en substance jugé que certaines remarques du courrier en cause étaient inappropriées et inutiles pour la défense du client. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 11 février 2014 du Tribunal cantonal, d'ordonner le classement de la dénonciation du 6 juillet 2012; subsidiairement, de renvoyer le dossier audit tribunal pour une nouvelle décision dans le sens des considérants; plus subsidiairement, de renvoyer le dossier à l'Autorité de surveillance pour une nouvelle décision dans le sens des considérants. L'Autorité de surveillance et le Tribunal cantonal se réfèrent à leur décision respective et concluent au rejet du recours. L'Office fédéral de la justice n'a pas déposé d'observations.