Faits :
A.
X._ est inscrit au registre neuchâtelois des avocats depuis le 6 janvier 2003 et exerce à La Chaux-de-Fonds.
L'intéressé est administrateur d'une société anonyme, propriétaire d'un immeuble à La Chaux-de-Fonds. Cet immeuble bénéficie d'une servitude inscrite au registre foncier grevant la parcelle voisine. Celle-ci bénéficie également d'une telle servitude grevant l'immeuble de la société. Ces servitudes réciproques permettent notamment aux ayants droit de passer par la propriété voisine pour effectuer des travaux sur leur propre immeuble.
En 2013, la propriétaire du bien-fonds voisin de celui de la société administrée par X._ a décidé d'effectuer des travaux sur les toits du garage et de la villa. Ces travaux ont été confiés à un couvreur-ferblantier. Les membres de la famille de l'intéressé se sont opposés à ce que cet ouvrier passe par leur propriété pour effectuer son travail. A la suite de disputes et de dépôts de plaintes pénales réciproques, X._ a été condamné, sur recours, le 27 septembre 2016, à 50 jours-amende avec sursis pendant trois ans, ainsi qu'à une amende de 800 fr. pour menaces, dommages à la propriété et contrainte. Le 27 novembre 2016, une fois ce jugement devenu définitif et exécutoire, la présidente de la Cour pénale du Tribunal cantonal de la République et canton de Neuchâtel l'a transmis à l'Autorité de surveillance des avocates et des avocats de la République et canton de Neuchâtel (ci-après: l'Autorité de surveillance).
B.
Par décision du 4 juillet 2017, l'Autorité de surveillance, considérant qu'en raison de sa condamnation X._ avait eu un comportement de nature à discréditer l'avocat aux yeux du public et des autorités, a prononcé la radiation de cet avocat du registre cantonal des avocats. X._ a contesté ce prononcé auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) qui, par arrêt du 25 janvier 2018, a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal cantonal du 25 janvier 2018. Il se plaint d'établissement inexact des faits et d'autres violations du droit fédéral, notamment du principe de l'égalité de traitement et de sa liberté économique.
Par ordonnance du 6 avril 2018, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Tribunal cantonal conclut au rejet du recours. L'Autorité de surveillance et l'Office fédéral de la justice renoncent à se déterminer.

Considérant en droit :
1.
Le litige concerne une décision de radiation d'un avocat du registre cantonal prise en application des art. 8 et 9 de la loi du 23 juin 2000 sur la libre circulation des avocats (LLCA; RS 935.61). Il relève donc du droit public au sens de l'<ref-law> et ne tombe pas sous le coup de l'une des exceptions de l'<ref-law>. Par conséquent, interjeté par l'avocat ayant pris part à la procédure devant l'autorité précédente, directement atteint par la décision attaquée et ayant un intérêt digne de protection à l'annulation de cette décision (cf. <ref-law>), le recours en matière de droit public dirigé contre un jugement final (cf. <ref-law>) rendu par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) est en principe recevable, puisqu'il a été déposé dans le délai et la forme prévus par la loi (cf. art. 42 et 100 al. 1 LTF). Il convient donc d'entrer en matière.
2.
Dans un premier grief, le recourant se plaint d'un établissement inexact des faits par le Tribunal cantonal.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
2.2. En l'occurrence, le recourant estime que l'autorité précédente n'a pas rappelé qu'il a continuellement contesté les faits qui lui étaient reprochés. Il est également d'avis que cette autorité n'a pas correctement repris ses propos en mentionnant qu'il aurait dit: " que si ça doit finir au coup de fusil, cela finira au coup de fusil ". Il conteste en outre l'interprétation faite par le Tribunal cantonal des déclarations qu'il a tenues devant le procureur, selon lesquelles il n'allait pas " les laisser faire ". Selon lui, ces propos ne signifiaient pas qu'il voulait en découdre physiquement, mais qu'il allait faire tout son possible pour faire respecter ses droits.
On rappellera tout d'abord au recourant qu'il n'est pas ici le lieu pour revenir sur la procédure pénale et sa condamnation prononcée sur recours par la Cour pénale du Tribunal cantonal le 27 septembre 2016, dont l'arrêt est entré en force. Ainsi, le fait qu'il ait ou non contesté les faits qui lui étaient reprochés n'est aucunement pertinent en l'espèce. Pour le surplus, le recourant ne motive pas à suffisance en quoi l'autorité précédente aurait établi et apprécié arbitrairement les faits de la cause. Il substitue bien plus ses vision et appréciation à celles de l'autorité précédente, ce qui n'est pas admissible. Partant, le Tribunal fédéral appliquera le droit en se fondant uniquement sur les faits retenus par le Tribunal cantonal.
3.
En premier lieu, dans la mesure où le recourant se plaint d'une violation de sa liberté économique, son grief ne peut qu'être écarté. En effet, la motivation du recours quant à cette violation n'est aucunement suffisante, s'agissant d'un droit fondamental soumis à une obligation de motivation accrue (<ref-law>). Au demeurant, outre que le recourant revient sur des éléments de fait qui ne sauraient être pris en compte (cf. consid. 2.2 ci-dessus), l'unique argument développé en relation avec ce grief est l'interdiction de la double peine, argument qui sera de toute façon examiné ci-après (cf. consid. 5 ci-dessous).
4.
Le recourant conteste l'appréciation du Tribunal cantonal selon laquelle la condamnation pénale dont il aurait fait l'objet porterait sur des faits incompatibles avec la profession d'avocat.
4.1. L'<ref-law> énumère les conditions personnelles que l'avocat doit remplir pour être inscrit au registre cantonal. Parmi celles-ci figure l'exigence de ne pas avoir fait l'objet d'une condamnation pénale pour des faits incompatibles avec la profession d'avocat, à moins que cette condamnation ne figure plus sur l'extrait privé du casier judiciaire (al. 1 let. b). L'avocat qui ne remplit plus l'une des conditions d'inscription est radié du registre (<ref-law>). L'idée est que la relation de confiance qui doit exister entre l'avocat et son client peut être détruite lorsque l'avocat n'offre pas toutes les garanties de sérieux et d'honorabilité allant de pair avec la pratique du barreau. Seules les infractions qui révèlent des faits incompatibles avec l'activité d'avocat sont visées, ce qui n'est par exemple pas le cas d'un excès de vitesse anodin (arrêts 2C_119/2010 du 1 er juillet 2010 consid. 2.2; 2C_183/2010 du 21 juillet 2010 consid. 2.3 et les références citées), mais d'un faux dans les titres commis dans l'exercice de fonctions publiques (arrêt 2C_119/2010 du 1 er juillet 2010 consid. 2.4). En revanche, ces faits n'ont pas nécessairement besoin d'avoir été accomplis lors de l'activité professionnelle de l'avocat, mais peuvent aussi être survenus dans un contexte purement privé (<ref-ruling> consid. 6.1 p. 427 et les références citées).
Pour déterminer si les faits pour lesquels l'avocat a été condamné sont ou non compatibles avec la profession d'avocat, l'autorité de surveillance dispose d'un large pouvoir d'appréciation. Dans ce cadre, elle est tenue de veiller au respect de la proportionnalité. Ainsi, il faut être en présence de faits d'une certaine gravité qui doivent toujours se trouver dans un rapport raisonnable avec la radiation. En revanche, dès que les circonstances dénotent l'existence d'une condamnation pour des faits incompatibles avec la profession d'avocat, l'autorité compétente doit procéder à la radiation en vertu de l'<ref-law>, sans qu'elle ne dispose plus d'aucune marge d'appréciation (<ref-ruling> consid. 6.1 p. 428 et les références citées).
4.2. En l'espèce, le recourant a été reconnu coupable de menaces, contrainte et dommages à la propriété et condamné à 50 jours-amende avec un sursis pendant 3 ans, ainsi qu'à une amende de 800 francs. Selon le jugement du 27 septembre 2016 rendu par la Cour pénale du Tribunal cantonal, le 25 avril 2013, le recourant a tenu des propos menaçants envers le ferblantier engagé par la propriétaire de l'immeuble voisin de celui de la société qu'il administre. Il a ainsi déclaré: " mon père est un gars du Sud. Il a le sang chaud et que si ça doit finir au coup de fusil, cela finira au coup de fusil ". Il a en outre également envoyé un message sur le téléphone portable de cet ouvrier le 14 mai 2013 en le mettant en garde de la manière suivante: " il ne faudra donc pas vous étonner des conséquences si vous continuez à voler le droit de propriété d'autrui ". Le 11 juillet 2013, devant le procureur, le recourant a déclaré: " Je vous laisse imaginer ce qui peut arriver de dramatique lorsqu'une personne brave l'interdit de passer dans un endroit, interdiction formulée par le propriétaire et qu'elle le fait malgré tout par la force (...) Je ne vais pas les laisser faire. Ils n'ont pas compris...à moins qu'on me coupe les bras et les jambes. Je n'étais pas prêt à les laisser faire (...) ". Par ailleurs, le 22 août 2013, le recourant s'est emparé d'un rouleau de sous-couverture appartenant au ferblantier précité et l'a passé par-dessus la barrière de la terrasse, le faisant tomber sur un échafaudage et l'endommageant. Finalement, il a encore empêché la propriétaire du fond voisin de celui de la société d'accéder à la terrasse, en plaçant durant plusieurs mois une échelle contre la porte d'accès.
Sur la base des faits qui précèdent, on ne voit pas en quoi le Tribunal cantonal aurait excédé son pouvoir d'appréciation en confirmant la position de l'Autorité de surveillance, selon laquelle un avocat qui recoure à l'intimidation, en laissant présager des actes de violence, pour résoudre un conflit privé l'opposant à sa voisine ou à un entrepreneur mandaté, se rendant ainsi coupable de trois infractions distinctes, adopte un comportement incompatible avec la profession d'avocat.
4.3. Le recourant se contente d'expliquer qu'il ne considère pas que les faits en question et pour lesquels il a été condamné soient propres à mettre en péril la confiance nécessaire que l'avocat doit inspirer au public, respectivement à mettre en danger la relation de confiance entre avocat et client. A ce propos, outre le fait qu'il critique une fois de plus les faits retenus dans le jugement pénal, ce qui ne saurait être toléré dans la présente cause, le recourant ne convainc pas. Il perd de vue que sa condamnation a été prononcée pour des infractions contre l'honneur, mais également contre le patrimoine et surtout contre la liberté. De telles infractions ne sont nullement anodines et, dans le cas d'un avocat, ne sont aucunement compatible avec le comportement attendu des personnes exerçant cette profession. On attend bien plus d'une personne formée à défendre les intérêts des justiciables confronté à une situation telle que celle en cause, qu'elle cherche à résoudre le conflit par une solution amiable ou, en cas d'échec, en faisant valoir ses droits dans le cadre d'une procédure judiciaire, mais en aucun cas en menaçant la partie adverse de lésions corporelles, voire de mort. De plus, comme on l'a vu précédemment (cf. consid. 4.1 i.f. ci-dessus), le fait que les actes ayant conduit à la condamnation se soient déroulés dans le cadre de la vie privée du recourant n'est pas déterminant. En outre, contrairement à ce que celui-ci affirme de manière totalement appellatoire, on ne saurait retenir que son comportement n'a engendré aucun dommage, le ferblantier pris pour cible ayant à tout le moins vu son matériel être détérioré par le recourant. On rappellera à ce sujet que les infractions contre le patrimoine, telle celle de dommage à la propriété, sont généralement incompatibles avec l'exercice de la profession d'avocat (Message du Conseil fédéral du 28 avril 1999 concernant la loi fédérale sur la libre circulation des avocats; FF 1999 5331 p. 5365).
5.
Le recourant est d'avis qu'ajoutée à sa condamnation pénale, sa radiation du registre cantonal des avocats constitue une double peine.
5.1. Le principe ne bis in idemest un corollaire de l'autorité de chose jugée. Il appartient avant tout au droit pénal fédéral matériel et interdit qu'une personne soit poursuivie deux fois pour les mêmes faits (<ref-ruling> consid. 2b p. 466; arrêt 2C_751/2014 du 23 février 2015 consid. 5.1). Il découle en outre implicitement de la Constitution fédérale (<ref-ruling> consid. 2.1 p. 365). Ce principe est garanti également par les art. 4 ch. 1 du Protocole additionnel n° 7 à la CEDH (RS 0.101.07), et 14 al. 7 Pacte ONU II (RS 0.103.2), qui interdisent aux juridictions d'un même Etat de poursuivre ou de punir pénalement quelqu'un en raison d'une infraction pour laquelle il a déjà été acquitté ou condamné par un jugement définitif. L'autorité de chose jugée et le principe ne bis in idem supposent qu'il y ait identité de l'objet de la procédure, de la personne visée et des faits retenus (arrêt 2C_751/2014 du 23 février 2015 consid. 5.1 et les références citées).
5.2. En l'espèce, il est fort douteux que la motivation du recourant remplisse les conditions posées par l'<ref-law>. Quand bien même cela devrait être le cas, il conviendrait de lui faire remarquer que la mesure prise par l'Autorité de surveillance est une mesure administrative. Le point de savoir si celle-ci revêt un caractère pénal, condition pour que le principe ne bis in idem soit applicable, conformément à la jurisprudence constante de la Cour européenne des droits de l'homme (cf. arrêts Boman c. Finlande du 17 février 2015, n. 28 ss; et Kiiveri c. Finlande du 10 février 2015, n. 29 ss), n'a pas besoin d'être examiné, car ce grief serait de toute façon à écarter. En effet, la radiation du registre cantonal des avocats prononcée par l'Autorité de surveillance et confirmée par le Tribunal cantonal, ne constitue pas une deuxième sanction qui viendrait s'ajouter à la première, mais simplement une conséquence directe de celle-ci (cf. arrêt 2C_751/2014 du 23 février 2015 consid. 5.3).
6.
Dans un ultime grief, le recourant se prévaut d'une violation du principe de l'égalité de traitement.
6.1. Une décision ou un arrêté viole le principe de l'égalité de traitement consacré à l'art. 8 al. 1 Cst. lorsqu'il établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou qu'il omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et ce qui est dissemblable ne l'est pas de manière différente. Il faut que le traitement différent ou semblable injustifié se rapporte à une situation de fait importante (<ref-ruling> consid. 6.1 p. 213 et les références citées).
6.2. Dans le cas d'espèce, le recourant constate que l'un de ses confrères, dont le comportement aurait selon lui mis en péril la confiance nécessaire que l'avocat doit inspirer au public et qui serait sans commune mesure avec son propre comportement, n'a pas été sanctionné. Il estime par conséquent que sa sanction constitue un cas de violation du principe de l'égalité de traitement.
L'autorité précédente a relevé que le confrère auquel fait référence le recourant a commis les infractions reprochées avant son inscription au registre cantonal des avocats. La situation n'est donc nullement semblable avec celle du recourant et il ne saurait par conséquent être question d'un cas d'inégalité de traitement, ce d'autant moins que les faits figurant dans l'arrêt entrepris ne permettent pas de savoir exactement ce qui était reproché à ce confrère. Au demeurant, par analogie à ce qui a été développé par la jurisprudence rendue en matière de droit pénal pour la fixation de la peine (cf. <ref-ruling> consid. 6.3.2 p. 69 et les références citées), on peut relever que toute comparaison avec d'autres affaires est délicate vu les nombreux paramètres entrant en ligne de compte dans la détermination des faits incompatibles avec la profession d'avocat.
7.
Sur le vu des considérants qui précèdent, le recours est rejeté. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à l'Autorité de surveillance des avocates et des avocats et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, ainsi qu'à l'Office fédéral de la justice.
Lausanne, le 9 juillet 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette