Faits :
A.
A._ a déposé une demande de prestations (mesures médicales) auprès de l'Office AI du canton de Neuchâtel (ci-après l'office AI) le 16 avril 2014, en indiquant souffrir d'une infirmité congénitale. L'office AI a pris des renseignements auprès de la doctoresse C._, spécialiste en pédiatrie et médecin traitant. La praticienne a diagnostiqué un tremblement essentiel entraînant des difficultés principalement dans la motricité fine et graphomotrices limitant les performances scolaires et a mentionné la nécessité d'un traitement par ergothérapie (rapport du 1 er juillet 2014). A l'appui de ses constatations, elle a joint l'appréciation de l'ergothérapeute, D._ (rapport du 7 mai 2013), et de la doctoresse E._, spécialiste en neuropédiatrie (rapport du 11 février 2014). La première a constaté un temps d'attention très limité de l'assuré et exprimé ses doutes quant à l'origine des tremblements. La seconde a expliqué qu'au vu de l'importance de l'atteinte (tremblement essentiel), une IRM cérébrale était nécessaire; elle a fait état de troubles d'acquisition du langage, de troubles comportementaux et d'un niveau d'impulsivité élevé.
Se fondant sur l'appréciation de son Service médical régional (SMR; avis du 26 mai 2015), l'office AI a rejeté la demande de A._ par décision du 27 août 2015, malgré les objections soulevées par ce dernier contre le projet de décision du 2 avril 2015 et les documents produits (notamment rapport de l'ergothérapeute du 5 mai 2015). Il a en particulier considéré que le tremblement essentiel ne faisait pas partie de la liste des infirmités congénitales selon l'<ref-law> et que le traitement par ergothérapie n'était pas de nature à améliorer la capacité de gain au sens de l'<ref-law>.
B.
Par jugement du 17 août 2016, le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, a rejeté le recours formé par l'assuré.
C.
A._ dépose un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Il conclut principalement à l'octroi de mesures médicales sous forme d'ergothérapie et subsidiairement au renvoi de la cause à l'office AI pour instruction complémentaire au sens des considérants et nouvelle décision.
L'office AI et l'Office fédéral des assurances sociales ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées, sinon un état de fait divergent ne peut être pris en considération (<ref-law>).
2.
L'objet du litige porte sur le droit du recourant à des mesures médicales de la part de l'assurance-invalidité, plus particulièrement sur le point de savoir si ce dernier souffre d'une infirmité congénitale ou d'une autre atteinte ouvrant le droit à de telles mesures. Le jugement entrepris expose de manière complète les dispositions légales et la jurisprudence nécessaires à la résolution du litige. Il suffit d'y renvoyer.
3.
La juridiction cantonale a entériné le refus de l'office intimé d'octroyer les mesures médicales (ergothérapie) sollicitées par le recourant. Elle a constaté d'une part que l'affection dont souffrait ce dernier (tremblement essentiel) ne figurait pas dans la liste des infirmités congénitales donnant lieu à ce titre à des mesures médicales au sens de l'<ref-law>. Elle a d'autre part considéré qu'au vu du caractère évolutif de la maladie et de l'absence de traitement efficace susceptible de la guérir, l'ergothérapie n'avait pas pour objectif d'éliminer ou de corriger un état stable défectueux ou une perte de fonction, de sorte que les conditions d'octroi des mesures médicales au sens de l'<ref-law> n'étaient pas remplies non plus.
4.
4.1. Le recourant soutient que les premiers juges ont à tort rejeté sa demande de mesures médicales sous l'angle de l'<ref-law>. Selon lui, la juridiction cantonale aurait dû constater l'existence d'une infirmité congénitale au sens du chiffre 404 de l'ordonnance du 9 décembre 1985 concernant les infirmités congénitales (OIC; RS 831.232.21) ou, à tout le moins, renvoyer le dossier à l'office intimé pour que ce dernier complète l'instruction sur ce point. Son argumentation est bien fondée comme il ressort de ce qui suit.
4.2.
4.2.1. Les assurés ont droit aux mesures médicales nécessaires au traitement des infirmités congénitales jusqu'à l'âge de 20 ans révolus. Le Conseil fédéral établira une liste des infirmités pour lesquelles ces mesures sont accordées (<ref-law>). Sont réputées infirmités congénitales les infirmités présentes à la naissance accomplie de l'enfant (<ref-law>) et qui figurent dans la liste annexée à l'OIC (<ref-law>). Selon le ch. 404 de cette liste (dans sa version en vigueur à partir du 1 er mars 2012, applicable en l'espèce) - jugé conforme à la loi par le Tribunal fédéral (<ref-ruling> consid. 1b p. 114) - plusieurs symptômes doivent être réunis avant l'âge de 9 ans pour qu'une infirmité congénitale soit retenue, à savoir des troubles du comportement des enfants doués d'une intelligence normale, au sens d'une atteinte pathologique de l'affectivité ou de la capacité d'établir des contacts, en concomitance avec des troubles de l'impulsion, de la perception, de la cognition, de la concentration et de la mémorisation, lorsqu'ils ont été diagnostiqués et traités comme tels avant l'accomplissement de la neuvième année; l'annexe 7 de la Circulaire de l'OFAS concernant les mesures médicales de réadaptation de l'AI (CMRM), valable à partir du 1er juillet 2016, mentionne également des troubles de l'attention (ch. 2.1.5). Ces symptômes ne doivent pas nécessairement apparaître simultanément, mais peuvent, selon les circonstances, survenir les uns après les autres. Si, jusqu'au jour où l'enfant atteint l'âge de 9 ans, seuls certains des symptômes indiqués sont médicalement attestés, les conditions du ch. 404 OIC ne sont pas remplies. Dans ce cas, les SMR des offices AI doivent vérifier soigneusement si, sur le plan médical, les critères requis selon les directives médicales relatives au ch. 404 OIC sont effectivement remplis. L'office AI décide ensuite s'il faut, le cas échéant, consulter d'autres spécialistes (externes; cf. note marginale 404.5 de la CMRM).
4.2.2. En l'espèce, le (seul) médecin auprès duquel l'office intimé a requis des informations, soit la doctoresse C._, a constaté que l'assuré souffrait d'un tremblement essentiel (rapport du 1 er juillet 2014), maladie neurologique qui ne figure pas dans liste des infirmités congénitales de l'OIC donnant lieu à des mesures médicales, conformément à ce qu'a constaté le tribunal cantonal. Or, et il convient à cet égard de compléter d'office l'état de faits retenus par les premiers juges (cf. <ref-law>), ces derniers ont ignoré le contenu des documents médicaux que la praticienne avait produits à l'appui de son rapport du 1 er juillet 2014 ainsi que de ses objections du 11 mai 2015 soulevées à l'encontre du projet de décision de l'office intimé. En effet, la doctoresse E._ avait diagnostiqué un tremblement essentiel puis mentionné qu'au vu de l'importance de l'atteinte, la réalisation d'une IRM cérébrale permettrait d'exclure une pathologie du système nerveux central notamment une pathologie métabolique débutante. Elle avait fait état d'un trouble d'acquisition du langage, de troubles comportementaux et d'un niveau d'impulsivité élevé (rapport du 11 février 2014). Quant à l'ergothérapeute, D._, elle avait constaté un temps d'attention très limité et fait part de ses doutes quant à l'origine des tremblements (rapport du 7 mai 2013). Elle avait également mentionné un trouble d'acquisition de la coordination (rapport du 5 mai 2015). Au vu de ces éléments, l'office intimé et la juridiction cantonale auraient dû constater l'existence d'indices sérieux de symptômes figurant au ch. 404 OIC. Il incombait à l'office intimé de prendre des renseignements plus précis à cet égard, ce que les premiers juges ont arbitrairement nié en confirmant la décision administrative litigieuse.
4.3. Force est d'admettre que l'instruction menée par l'office intimé était insuffisante. Dans ces conditions, et au regard du pouvoir d'examen restreint du Tribunal fédéral, il convient de renvoyer la cause à l'office intimé pour qu'il réexamine, sur la base d'une analyse médicale détaillée, les troubles dont le recourant est atteint et la prise en charge d'éventuelles mesures médicales par l'assurance-invalidité au titre des art. 12 ou 13 LAI.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement du Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, du 17 août 2016, et la décision de l'Office AI du canton de Neuchâtel, du 27 août 2015, sont annulés. La cause est renvoyée à l'Office AI pour instruction complémentaire au sens des considérants et nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'office intimé.
3.
L'office intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 30 mars 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Flury