Faits : A. X._ est marié et a bénéficié, en 2013, d'une prestation en capital de 101'264 fr. 40 provenant d'une institution de prévoyance (prévoyance liée; pilier 3a). B. Par décision de taxation du 20 février 2014 relative aux impôts cantonal et communal (ci-après: ICC), il a été imposé à un taux de 3,8191% pour l'impôt cantonal et de 1,5276% pour l'impôt communal, selon le barème applicable aux contribuables célibataires. Cette décision a été confirmée, sur réclamation, par le Service cantonal des contributions de la République et canton de Neuchâtel (ci-après: le Service cantonal) le 5 janvier 2015. L'intéressé a contesté ce prononcé auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal). Par arrêt du 24 mars 2016, le Tribunal cantonal a rejeté le recours de X._. Il a considéré en bref que l'intéressé, marié, n'était pas discriminé par l'application du barème destiné aux personnes célibataires. Les célibataires et les contribuables mariés devant être assujettis, sur le plan cantonal, à un barème identique pour les prestations en capital, il a jugé que le contribuable n'avait pas un droit à s'acquitter d'un impôt moins élevé au motif que l'application d'un autre barème que celui qu'a choisi le législateur l'avantagerait. C. Par acte daté du 18 avril 2016 et posté le 19 avril 2016, X._ demande en substance au Tribunal fédéral, sous suite de dépens, d'annuler l'arrêt du 24 mars 2016 du Tribunal cantonal et, implicitement, de lui restituer un montant de 1'099 fr. 40 d'impôts. Il se plaint de violations du principe de l'égalité de traitement et du droit fédéral, ainsi que d'application arbitraire du droit cantonal. Le Tribunal cantonal et le Service cantonal concluent au rejet du recours. Selon l'Administration fédérale des contributions, le recours porte sur la question du taux d'imposition des prestations en capital de la prévoyance applicable en matière d'ICC. Ce point n'étant pas réglé par la LHID, elle renonce à déposer des observations. Dans des observations finales, X._ a encore confirmé ses conclusions.