Faits :
A.
X._ exerce la profession d'avocat à titre indépendant dans le canton de Neuchâtel. Il représente S., auquel l'Office de recouvrement et d'avances des contributions d'entretien de la République et canton de Neuchâtel (ci-après: l'Office de recouvrement) réclame le versement de pensions pour un enfant fixées dans un jugement du 11 juin 2004.
Dans le cadre de cette procédure, X._ a communiqué audit office, par lettre du 11 juin 2012, que l'ordonnance condamnant son client avait été notifiée dans des conditions douteuses, de sorte qu'il avait déposé une demande de restitution de délai auprès du tribunal et qu'en l'état la pension n'était donc pas due. Le 19 juin 2012, une fonctionnaire de l'Office de recouvrement (ci-après: la fonctionnaire ou l'intéressée) en charge du dossier lui a répondu que le jugement du 11 juin 2004 était en force et que divers documents démontraient que S. savait qu'il devait une pension pour son fils; il était, en outre, surprenant que X._ ait accepté de défendre S. alors qu'il avait ordonné la garde à vue de celui-ci en qualité d'officier de la police judiciaire à l'époque de la procédure pénale; une plainte pénale pour violation de l'obligation d'entretien serait déposée si la pension courante n'était pas payée dans les dix jours.
Par courrier du 28 juin 2012, X._ a rétorqué à cette fonctionnaire ce qui suit:
- .. Peut-être que votre irritabilité vous aura empêchée de lire la première phrase de mon courrier du 11 juin 2012 par lequel je vous informais avoir requis le dossier.
Ainsi je vous confirme qu'une requête en restitution de délai, pour défaut de notification, a été introduite par devant l'APEA le 6 juin 2012, de sorte que votre premier paragraphe me consterne tant il reflète une affirmation contraire à la réalité, qui m'inquiète quant à votre capacité de suivre ce dossier.
En effet, mais peut-être l'ignoriez-vous, la procédure actuellement conduite par moi-même pour le compte de M. S. est une procédure civile dans laquelle n'apparaît d'aucune manière un dossier pénal, fût-il intitulé MPxxxx.
Me B. a probablement représenté dans cette procédure pénale-là M. S., mais d'aucune manière il n'avait la qualité, à défaut de procuration, d'intervenir dans le dossier civil pour lequel aujourd'hui, mon client conteste la recevabilité.
Votre doux mélange des genres, regrettable mais surtout maladroit, entre une éventuelle activité que j'aurais pu déployer auparavant et mon mandat de ce jour, me confirme dans les propos pré-rappelés en préambule de cet écrit.
Votre affirmation selon laquelle "M. S. sait donc pertinemment qu'il doit payer une pension pour son fils et cela à tout le moins depuis juin 2006" est parfaitement grotesque et je me pose la question de votre indépendance par rapport à mon client, respectivement de la nécessité qui sera la vôtre de vous récuser dans toute procédure en lien avec M. S.
Quant à la façon dont j'entends assumer les mandats qui me sont confiés, elle ne regarde que moi et je vous fixe un délai de 24 heures dès réception du présent fax pour retirer vos propos, faute de quoi une suite judiciaire sera donnée à la présente.
Vous souhaitant bonne réception de la présente je vous prie de croire, Madame, à l'expression de ma consternation la plus sincère."
Saisie par la fonctionnaire de l'Office de recouvrement, l'Autorité de surveillance des avocats de la République et canton de Neuchâtel (ci-après: l'Autorité de surveillance) a, par décision du 28 août 2013, prononcé un avertissement à l'encontre de X._. Elle a retenu que l'avocat avait violé l'obligation générale de courtoisie dans son comportement envers les autorités et les parties adverses, en ce sens que certains des passages de sa lettre du 28 juin 2012 n'étaient pas admissibles et relevaient d'un mouvement d'humeur inutile, déplacé et discourtois; a priori, le fait que l'avocat représentait un client dont il avait ordonné la garde à vue lorsqu'il était officier de la police judiciaire ne constituait pas un conflit d'intérêt.
B.
Par arrêt du 11 février 2014, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) a rejeté le recours de X._. Il a en substance jugé que certaines remarques du courrier en cause étaient inappropriées et inutiles pour la défense du client.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 11 février 2014 du Tribunal cantonal, d'ordonner le classement de la dénonciation du 6 juillet 2012; subsidiairement, de renvoyer le dossier audit tribunal pour une nouvelle décision dans le sens des considérants; plus subsidiairement, de renvoyer le dossier à l'Autorité de surveillance pour une nouvelle décision dans le sens des considérants.
L'Autorité de surveillance et le Tribunal cantonal se réfèrent à leur décision respective et concluent au rejet du recours. L'Office fédéral de la justice n'a pas déposé d'observations.

Considérant en droit :
1.
Le présent litige concerne une sanction disciplinaire infligée à un avocat sur la base de la loi fédérale du 23 juin 2000 sur la libre circulation des avocats (Loi sur les avocats, LLCA; RS 935.61), qui relève du droit public au sens de l'<ref-law>. Dirigé contre une décision finale (<ref-law>) rendue par un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF), le recours a été déposé en temps utile (art. 100 al. 1 et 46 al. 1 let. a LTF) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). En outre, il ne tombe pas sous le coup des exceptions mentionnées à l'<ref-law>. Par conséquent, il convient d'entrer en matière.
2.
Le recourant estime qu'avec les propos en cause, échangés dans un courrier et non de façon publique, il n'a pas franchi la limite fixée par la jurisprudence relative à l'<ref-law>. Il se serait contenté de mettre en doute, en des termes dépourvus de grossièreté ou d'outrage, la capacité de la fonctionnaire à s'occuper du dossier, compte tenu de son manque d'indépendance. De plus, il ne faisait que répondre aux attaques de celle-ci quant à son intégrité.
2.1. Le Tribunal fédéral revoit librement le point de savoir s'il y a eu violation des règles professionnelles (Pra 2007 n° 87 p. 587, 2P.156/2006 consid. 4.3), soit des règles de droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), en fonction du comportement concret de la personne mise en cause au regard de la situation qui se présentait à elle au moment des faits (arrêt 2C_1180/2013 du 24 octobre 2014 consid. 2.1).
2.2. L'<ref-law> dispose que l'avocat exerce sa profession avec soin et diligence. Cette disposition constitue une clause générale, qui ne se limite pas aux rapports professionnels de l'avocat avec ses clients, mais qui englobe ceux avec ses confrères, ainsi qu'avec toutes les autorités (<ref-ruling> consid. 3.2 p. 276) et non seulement les autorités judiciaires stricto sensu (arrêt 2A.448/2003 du 3 août 2004 consid. 3).
Selon la jurisprudence du Tribunal fédéral, l'avocat, qui peut se prévaloir de la liberté d'opinion (art. 16 Cst.), dispose d'une grande liberté pour critiquer l'administration de la justice, tant qu'il le fait dans le cadre de la procédure, que ce soit dans ses mémoires ou à l'occasion de débats oraux. Il y a un intérêt public à ce qu'une procédure se déroule conformément aux exigences d'un Etat fondé sur le droit. En fonction de cet intérêt public, l'avocat a le devoir et le droit de relever les anomalies et de dénoncer les vices de la procédure. Le prix à payer pour cette liberté de critiquer l'administration de la justice consiste à s'accommoder de certaines exagérations (dans ces sens: <ref-ruling> consid. 1.3.2 p. 158; <ref-ruling> c. 3.2.2 p. 278). Si l'avocat se voit interdire une critique non fondée, il ne lui est plus possible de présenter sans risque une critique éventuellement fondée. Si, après examen, les griefs soulevés se révèlent non fondés, cela n'est pas un motif en soi suffisant pour infliger une peine disciplinaire. L'avocat n'agit contrairement à ses devoirs professionnels et, partant, de façon inadmissible, que s'il formule des critiques de mauvaise foi ou dans une forme attentatoire à l'honneur, au lieu de se limiter à des allégations de fait et à des appréciations. Les affirmations tenues en dehors de toute procédure, notamment les déclarations publiques, sont quant à elles soumises à des exigences plus strictes (<ref-ruling> consid. 8b p. 107 ss). De plus, l'obligation de diligence interdit à l'avocat d'entreprendre des actes qui pourraient nuire aux intérêts de son client (<ref-ruling> consid. 1.3.2 p. 158). Pour qu'un comportement tombe sous le coup de l'<ref-law>, il suppose toutefois l'existence d'un manquement significatif aux devoirs de la profession (cf. arrêt 2C_878/2011 du 28 février 2012 consid. 5.1; 2C_452/2011 du 25 août 2011 consid. 5.1 et les références citées). Ces principes valent aussi à l'égard des autorités administratives (arrêt 2A.448/2003 précité consid. 5).
Par ailleurs, l'avocat ne peut en règle générale se servir de moyens juridiques (arrêt 2C_1180/2013 précité consid. 4.1.1; p.e. menace du dépôt d'une plainte pénale: RDAT 1998 I 10 37, 2P.130/1997 consid. 5c) pour exercer des pressions. Cela vaut à plus forte raison lorsque de tels moyens peuvent jeter le discrédit sur la personne concernée (arrêt 2A.448/2003 précité consid. 5).
2.3. La lettre du 28 juin 2012 du recourant débute en parlant de "l'irritabilité" de la fonctionnaire qui l'aurait "empêchée de lire la première phrase de [son] courrier...". Puis, celui-ci qualifie de "consternant" un passage de la lettre de l'intéressée et met en doute la capacité de celle-ci de s'occuper du dossier. Il continue en jugeant qu'une affirmation de la fonctionnaire relative à la contribution d'entretien est "parfaitement grotesque". Il met encore en cause l'indépendance de celle-ci par rapport à son client pour suggérer qu'elle se récuse. Il termine sa missive en la menaçant de "suite judiciaire" si elle ne retirait pas ses propos quant à un éventuel conflit d'intérêts dans les 24 heures dès la réception du fax.
Le ton utilisé et les termes choisis dans ce courrier sont pour le moins virulents. En outre, alors que la fonctionnaire s'était contentée de manifester son désaccord sur une question juridique, soit la validité de la notification d'un jugement, et de soulever l'existence d'un possible conflit d'intérêts de la part du recourant, celui-ci y a répondu par des attaques personnelles, ainsi qu'en mettant en doute les compétences professionnelles de l'intéressée. Ces propos sont manifestement offensants. De plus, avec une telle attitude l'avocat dessert les intérêts de son client. Il apparaît aussi que cette réaction est essentiellement due à l'évocation d'un éventuel conflit d'intérêts, point que la fonctionnaire pouvait légitimement soulever. C'est à ce sujet que le recourant s'est permis de fixer un délai de 24 heures à l'intéressée pour qu'elle retire ses propos et qu'il l'a menacée de suite judiciaire. Un tel comportement dépasse ce qui peut être admis d'un avocat dans sa relation avec une autorité administrative. Que ces échanges n'aient pas été publics n'y change rien. Est par contre une circonstance aggravante le fait qu'ils aient été tenus non pas oralement dans le feu d'une séance mais par écrit, mode d'expression qui laisse en règle générale l'opportunité de la réflexion et de la mesure des mots employés (RDAT 2001 II 10 44, 2P.212/2000 consid. 3b). Compte tenu de ce qui précède, il y a bien eu violation du devoir de diligence de l'<ref-law>.
3.
Dans son écriture, le recourant mentionne la liberté d'opinion (art. 16 Cst.), sans que cela semble véritablement constituer un grief. Dans la mesure où il entendait se plaindre d'une violation de cette liberté, on doit constater que ce moyen ne remplit pas les exigences de motivation accrue en matière de violation des droits constitutionnels (<ref-law>; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.5 p. 314) et qu'il est dès lors irrecevable.
4.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (cf. <ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à l'Autorité de surveillance des avocates et avocats, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral de la Justice.
Lausanne, le 26 novembre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Jolidon