Faits :
A.
X._ est marié et a bénéficié, en 2013, d'une prestation en capital de 101'264 fr. 40 provenant d'une institution de prévoyance (prévoyance liée; pilier 3a).
B.
Par décision de taxation du 20 février 2014 relative aux impôts cantonal et communal (ci-après: ICC), il a été imposé à un taux de 3,8191% pour l'impôt cantonal et de 1,5276% pour l'impôt communal, selon le barème applicable aux contribuables célibataires. Cette décision a été confirmée, sur réclamation, par le Service cantonal des contributions de la République et canton de Neuchâtel (ci-après: le Service cantonal) le 5 janvier 2015. L'intéressé a contesté ce prononcé auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal).
Par arrêt du 24 mars 2016, le Tribunal cantonal a rejeté le recours de X._. Il a considéré en bref que l'intéressé, marié, n'était pas discriminé par l'application du barème destiné aux personnes célibataires. Les célibataires et les contribuables mariés devant être assujettis, sur le plan cantonal, à un barème identique pour les prestations en capital, il a jugé que le contribuable n'avait pas un droit à s'acquitter d'un impôt moins élevé au motif que l'application d'un autre barème que celui qu'a choisi le législateur l'avantagerait.
C.
Par acte daté du 18 avril 2016 et posté le 19 avril 2016, X._ demande en substance au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt du 24 mars 2016 du Tribunal cantonal et, implicitement, de lui restituer un montant de 1'099 fr. 40 d'impôts. Il se plaint de violations du principe de l'égalité de traitement et du droit fédéral, ainsi que d'application arbitraire du droit cantonal.
Le Tribunal cantonal et le Service cantonal concluent au rejet du recours. Selon l'Administration fédérale des contributions, le recours porte sur la question du taux d'imposition des prestations en capital de la prévoyance applicable en matière d'ICC. Ce point n'étant pas réglé par la LHID, elle renonce à déposer des observations. Dans des observations finales, X._ a encore confirmé ses conclusions.

Considérant en droit :
1.
L'absence de dénomination du recours ne saurait nuire au recourant si son acte répond aux exigences de la voie de droit à disposition (cf. quant à la désignation erronée de la voie de droit: <ref-ruling> consid. 1.1 p. 369 s.; <ref-ruling> consid. 1.2 p. 302 s.). En l'occurrence, le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF) ne tombant pas sous le coup de l'une des exceptions prévues à l'art. 83 LTF. Il est donc en principe recevable comme recours en matière de droit public (cf. art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]; <ref-ruling> consid. 1.3 p. 188 s.). Le recours a en outre été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) par le contribuable destinataire de l'acte attaqué (art. 89 al. 1 LTF), de sorte qu'il convient d'entrer en matière.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Cependant, il ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant, selon le principe d'allégation (art. 106 al. 2 LTF; <ref-ruling> consid. 3.3 p. 310 s.; <ref-ruling> consid. 3.2 p. 88). En revanche, sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), l'on ne peut invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (art. 95 LTF e contrario). Il est néanmoins possible de faire valoir que son application consacre une violation du droit fédéral, comme la protection contre l'arbitraire (art. 9 Cst.) ou la garantie d'autres droits constitutionnels. Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'art. 106 al. 2 LTF (<ref-ruling> consid. 2.5 p. 314; arrêt 2C_668/2013 du 19 juin 2014 consid. 2.1).
En matière d'ICC, le Tribunal fédéral examine librement si le droit cantonal et son interprétation par les autorités cantonales respectent les exigences de la LHID. Toutefois, dans la mesure où le droit fédéral laisse une marge de manoeuvre au législateur cantonal, le pouvoir d'examen du Tribunal fédéral se limite à l'interdiction de l'arbitraire (<ref-ruling> consid. 2 p. 209 s.).
2.2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (art. 99 al. 1 LTF).
3.
Le litige porte sur le point de savoir si l'application d'un taux semblable pour les prestations en capital provenant de la prévoyance des personnes mariées et des personnes célibataires, qui a conduit le recourant à être imposé en application d'un barème destiné aux personnes célibataires alors qu'il est marié, est conforme au droit fédéral et en particulier à l'art. 11 LHID.
4.
4.1. A teneur de l'art. 11 LHID, l'impôt des personnes mariées vivant en ménage commun doit être réduit de manière appropriée par rapport à celui des personnes vivant seules (al. 1). En outre, les prestations en capital provenant des institutions de prévoyance, ainsi que les sommes versées ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé sont imposées séparément. Elles sont dans tous les cas soumises à un impôt annuel entier (al. 3). Selon l'art. 18 al. 2 LHID, qui a également trait à ces prestations, l'impôt sur les prestations mentionnées à l'art. 11 al. 3 LHID est fixé pour la période fiscale au cours de laquelle les revenus ont été acquis. Lorsque plusieurs gains en capital sont réalisés la même année fiscale, l'impôt est calculé au taux applicable à l'ensemble de ces gains.
Pour sa part, l'art. 42 de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir/NE; RSN 631.0) dispose que les prestations en capital provenant de la prévoyance selon l'art. 25 LCdir/NE, ainsi que les sommes versées ensuite de décès, de dommages corporels permanents ou d'atteinte durable à la santé sont imposées séparément et soumises à un impôt annuel entier calculé sur la base d'un taux représentant le quart du barème déterminant pour l'impôt sur le revenu, cela sous les trois réserves suivantes: a) le taux de l'impôt de base ne peut être inférieur à 2,5%; b) les déductions générales et les déductions sociales ne sont pas accordées; c) aucune réduction supplémentaire du taux n'est accordée. Pour l'année 2013 en cause, le système progressif par catégorie prévu à l'art. 40a al. 1 LCdir/NE permet de calculer le taux de l'impôt sur le revenu des personnes seules. L'art. 40a al. 3 LCdir/NR dispose quant à lui que pour les époux vivant en ménage commun, ainsi que pour les contribuables veufs, séparés, divorcés et célibataires qui vivent en ménage commun avec des enfants, dont ils assument pour l'essentiel l'entretien, le revenu est frappé du taux correspondant au 55% de son montant. On constate donc que le taux appliqué aux personnes seules est moins favorable que celui appliqué aux époux vivant en ménage commun.
4.2. Le législateur cantonal a ainsi repris le contenu de l'art. 11 al. 3 LHID à l'art. 42 LCdir/NE. Il y a toutefois ajouté trois exceptions, dont notamment la let. c, excluant toute réduction supplémentaire du taux d'imposition, notamment celle prévue à l'art. 40a al. 3 LCdir/NE. Il convient donc d'examiner si cette disposition, qui revient en définitive à traiter de manière semblable les personnes seules et les époux lors de la taxation des prestations en capital provenant de la prévoyance, est conforme à l'art. 11 al. 1 LHID.
5.
5.1. Dans l'arrêt 2C_954/2010 du 8 décembre 2011, le Tribunal fédéral s'est déjà penché sur cette question. Il s'agissait de déterminer si la disposition relative à l'imposition des prestations en capital provenant des institutions de prévoyance figurant dans la législation genevoise, qui disposait notamment que le calcul de l'impôt était effectué grâce à un barème applicable aux personnes seules (à l'exclusion du barème applicable en particulier aux époux vivant en ménage commun), était conforme au droit fédéral.
Le Tribunal fédéral a en premier lieu jugé que les prestations en capital provenant des institutions de prévoyance constituent des revenus soumis à l'impôt sur le revenu (art. 7 al. 1 LHID). En raison de leur caractère non périodique générant un montant extraordinaire et afin notamment de casser la progressivité du taux et ainsi réduire la charge fiscale, ces prestations sont imposées séparément et soumises à un impôt annuel entier, conformément à l'art. 11 al. 3 LHID. En cas de perception de plusieurs prestations en capital provenant de la prévoyance durant une même année fiscale, les montants sont additionnés (arrêt 2C_954/2010 précité consid. 4.1). Le Tribunal fédéral a ensuite considéré qu'une imposition séparée de chacun des époux pour les prestations en capital de la prévoyance était contraire aux exigences de la LHID, qui ordonne une taxation conjointe des époux dans le cadre de laquelle les revenus sont additionnés. Il a fait référence à l'art. 3 al. 3 LHID qui impose cette règle pour tous les revenus des époux qui sont soumis à l'impôt sur le revenu, à l'exception des gains immobiliers et du produit de l'activité lucrative des enfants (arrêt 2C_954/2010 précité consid. 4.2). Rappelant l'art. 11 al. 1 LHID, qui ordonne la réduction de manière appropriée de l'impôt des personnes mariées vivant en ménage commun par rapport à celui des personnes vivant seules, le Tribunal fédéral en a conclu que cet allégement fiscal était absolu dans le cadre de l'imposition des revenus et qu'il devait donc également s'appliquer dans le cadre de l'imposition des prestations en capital de la prévoyance. La compétence résiduelle des cantons en ce qui concerne l'imposition des prestations en capital de la prévoyance de l'art. 11 al. 3 LHID réside dans la méthode choisie pour réduire l'impôt, ainsi que dans la fixation du taux d'imposition. Toutefois, dans ce cadre, ils doivent respecter le principe selon lequel l'imposition des époux faisant ménage commun doit être allégée par rapport à ce que paierait une personne seule (arrêt 2C_954/2010 précité consid. 4.3). Cette solution va en outre dans le sens d'une harmonisation fiscale aussi bien verticale qu'horizontale (arrêt 2C_954/2010 précité consid. 4.4).
En conclusion, le Tribunal fédéral a jugé que, si l'art. 11 al. 3 LHID impose une taxation séparée des prestations en cause consistant en un impôt annuel entier, on reste cependant dans le cadre de l'impôt sur le revenu au sens large, les prestations en capital de la prévoyance étant des revenus apériodiques que l'on extrait des autres revenus pour obtenir une imposition plus favorable. En conséquence, le principe ordonnant une imposition réduite pour les personnes mariées vivant en ménage commun par rapport aux personnes seules (art. 11 al. 1 LHID) doit aussi s'appliquer dans le cadre de l'imposition des prestations en capital de la prévoyance (arrêt 2C_954 précité consid. 4.5).
5.2. En l'occurrence, l'art. 42 let. c LCdir/NE, qui exclut, pour les prestations en capital provenant de la prévoyance, toute réduction supplémentaire de taux, et en particulier la réduction prévue par l'art. 40a al. 3 LCdir/NE pour les personnes mariées vivant en ménage commun, est donc contraire à l'art. 11 al. 1 LHID. Il conduit en effet à une imposition identique des époux et des personnes célibataires. Par conséquent, le grief du recourant, tiré de la violation de la LHID par l'art. 42 let. c LCdir/NE en tant que cette disposition exclut un taux réduit pour les personnes mariées, doit être admis. L'imposition de la prestation en capital de 101'264 fr. 40 perçue en 2013 par le recourant, marié, doit être allégée par rapport à ce que paierait une personnes seule. Dès lors que le recourant ne conteste pas que le revenu des époux vivant en ménage commun est frappé, dans le canton de Neuchâtel, du taux correspondant au 55% de son montant, le calcul de l'impôt dû en l'espèce prendra en compte cette réduction prévue à l'art. 40a al. 3 LCdir/NE.
Ce grief étant admis, il n'y a pas à examiner si l'art. 42 LCdir/NE viole également le principe de l'égalité de traitement prévu à l'art. 8 Cst., lequel se confond au demeurant avec celui de la violation de l'art. 11 al. 1 LHID (cf. arrêt 2C_954/2010 précité consid. 4.6).
6.
Sur le vu de ce qui précède, le recours est admis et l'arrêt entrepris annulé. La cause est renvoyée au Service cantonal afin qu'il procède au calcul de l'impôt en prenant en compte l'art. 40a al. 3 LCdir/NE.
Les frais judiciaires sont mis à la charge de la République et canton de Neuchâtel, dont l'intérêt patrimonial est en cause (art. 66 al. 1 et 4 LTF). Il n'est pas alloué de dépens au recourant qui a obtenu gain de cause sans l'assistance d'un mandataire professionnel (art. 68 al. 1 LTF; cf. arrêt 2C_899/2008 du 18 juin 2009 consid. 5.2, non publié in <ref-ruling>). Le Tribunal cantonal procédera en outre à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (art. 67 et 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt rendu le 24 mars 2016 par le Tribunal cantonal est annulé. La cause est renvoyée au Service cantonal pour qu'il statue dans le sens des considérants.
2.
La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure devant lui.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge de la République et canton de Neuchâtel.
4.
Le présent arrêt est communiqué au recourant, au Service des contributions et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 10 octobre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette