Faits :
A.
Par décision de transfert de mandat du 15 juillet 2012, X._ a été désigné défenseur d'office de A._. Celui-ci a été condamné, par jugement du 18 décembre 2013 rendu par le Tribunal correctionnel de l'arrondissement de Lausanne, à une peine privative de liberté de 22 mois, sous déduction de la détention provisoire subie avant jugement (ch. II) pour des actes d'ordre sexuel avec des enfants, des actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et pour pornographie (ch. I). Au chiffre VIII de la décision, le tribunal a notamment fixé à 3'254 fr. 15, TVA comprise, l'indemnité due à X._, en sa qualité de défenseur d'office du prévenu.
B.
Statuant sur recours de X._, le Juge de la Chambre des recours pénale du Tribunal cantonal vaudois a, par décision du 12 février 2014, confirmé le montant de l'indemnité arrêté par les premiers juges et a mis les frais de la procédure de recours à sa charge.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal et conclut, avec suite de frais et dépens, à ce qu'il soit réformé en ce sens que l'indemnité due soit arrêtée à 3'588 fr., les débours étant fixés à 399 fr. 80, TVA non comprise. Subsidiairement, il conclut à ce que la décision soit annulée et renvoyée à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Invités à se déterminer sur le recours, le Ministère public y a renoncé et la cour cantonale s'est référée en substance aux considérants de son arrêt.

Considérant en droit :
1.
La décision attaquée, rendue par une autorité cantonale statuant sur recours, a trait à la fixation d'une indemnité due au défenseur d'office dans le cadre d'une défense pénale en procédure de première instance (art. 135 al. 2 et al. 3 let. a CPP). Le recours en matière pénale est ouvert à cet égard (cf. <ref-law>; <ref-ruling> consid. 1.1.1 p. 45; arrêts 6B_951/2013 du 27 mars 2014 consid. 1; 6B_502/2013 du 3 octobre 2013 consid. 1).
2.
2.1. En substance, le recourant reproche à l'autorité cantonale de s'être écartée du temps consacré à la défense d'office, tel qu'il apparaît dans la liste des opérations et dans la note de débours qu'il a produites, sans juste motif et sans l'avoir interpellé. A ce titre, il invoque une violation de son droit d'être entendu (art. 29 al. 2 Cst.) et de l'obligation qui en découle, de rendre une décision motivée.
2.2. A teneur de l'<ref-law>, le défenseur d'office est indemnisé conformément au tarif des avocats de la Confédération ou du canton du for du procès. Pour les procédures se déroulant devant les autorités cantonales, cette disposition renvoie donc aux règles de droit cantonal en matière d'indemnisation pour la défense d'office.
Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst. et l'art. 3 al. 2 let. c CPP, implique notamment pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. Pour répondre à ces exigences, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445).
Selon la jurisprudence rendue en matière de dépens, qui s'applique aux indemnités dues au défenseur d'office, la décision par laquelle le juge fixe le montant des dépens n'a en principe pas besoin d'être motivée, du moins lorsque celui-ci ne sort pas des limites définies par un tarif ou une règle légale et que des circonstances extraordinaires ne sont pas alléguées par les parties (<ref-ruling> consid. 2a p. 1; arrêt 6B_124/2012 du 22 juin 2012 consid. 2.2). En revanche, il en va différemment lorsque le juge statue sur la base d'une liste de frais; s'il entend s'en écarter, il doit alors au moins brièvement indiquer les raisons pour lesquelles il tient certaines prétentions pour injustifiées, afin que son destinataire puisse attaquer la décision en connaissance de cause (arrêts 6B_502/2013 du 3 octobre 2013 consid. 3.4; 6B_124/2012 du 22 juin 2012 consid. 2.2 et les références citées).
2.3. En l'espèce, le juge cantonal a fixé l'indemnité d'office sur la base de la liste des opérations ainsi que sur la note de débours produites par le recourant. La liste faisait état de six postes (ouverture du dossier [10 minutes], 3 audiences [4 heures 35], 6 conférences [5 heures 20], 3 périodes d'étude du dossier [2 heures 20], 24 lettres [5 heures 15] et 10 téléphones [2 heures 16]) ayant nécessité 19 heures 56 d'activité au total. La note de débours portait sur un montant total de 460 fr. 30 (264 photocopies à 30 ct. soit 79 fr. 20, 2 vacations soit 240 fr., frais d'affranchissement de 107 fr., TVA de 8% à 34 fr. 10).
2.3.1. A titre liminaire, l'autorité cantonale a constaté que les juges de première instance avaient omis de comptabiliser les heures correspondant à l'audience de jugement, de sorte qu'elle a admis la durée totale des audiences figurant dans la liste.
2.3.2. Ensuite, relevant que le temps consacré à chaque opération n'était pas précisé individuellement, seul le total d'heures pour chaque poste étant indiqué, l'autorité cantonale a considéré que ce procédé était peu clair et peu précis. Elle a ainsi procédé à une estimation de la durée nécessaire aux postes liés aux conférences (45 minutes chacune), à la rédaction de courriers (5 minutes par lettre) et aux appels téléphoniques (5 minutes chacun). Elle a retenu un total de 14 heures 25 d'activité.
2.3.3. S'agissant des débours, l'autorité cantonale a réduit les frais de photocopies de 30 ct. à 20 ct. par copie et a limité les frais d'affranchissement aux 24 lettres figurant dans la liste des opérations, au tarif d'un franc. Elle a finalement réduit les débours à un total de 316 fr. 80, hors TVA.
2.3.4. Aboutissant à un montant total de 3'144 fr. 75, TVA comprise, soit un montant inférieur à celui arrêté par les premiers juges, la cour cantonale en a conclu que l'indemnité d'office allouée au recourant par ces derniers n'était pas insuffisante et l'a confirmée.
2.4. Il ressort expressément de la décision entreprise que l'autorité cantonale a réduit les postes "conférences", "lettres" et "téléphones" au seul motif que le procédé visant à indiquer un total d'heures pour chaque poste était "peu clair et peu précis". Pourtant, si la liste ne mentionne pas la durée des opérations de manière individualisée, elle demeure toutefois parfaitement claire dans sa structure et elle mentionne la date et les détails de chaque prestation (type d'audience, interlocuteur de la conférence et de l'appel téléphonique, but de l'étude du dossier, destinataire de la lettre). En tout état, on ne saurait déduire de la seule imprécision relative à la durée individuelle des prestations relevées par l'autorité cantonale, que les opérations déclarées par l'avocat sont exagérées ou inutiles. Le juge cantonal ne le prétend d'ailleurs à aucun moment. Tout au plus relève-t-il qu'en l'absence d'indication quant à la nature précise des courriers et des appels, "on ignore s'il s'agissait de véritables écritures ou de simples fiches de transmission"et qu'on "peine à discerner les durées effectives des appels téléphoniques". Or, si le juge cantonal dispose d'un large pouvoir d'appréciation pour fixer l'indemnisation d'office (cf. notamment <ref-ruling> consid. 3a p. 2 s.; arrêt 6B_951/2013 du 27 mars 2014 consid. 4.2), il doit toutefois indiquer les raisons pour lesquelles il s'écarte d'une liste des frais présentée par l'avocat, en particulier, dans quelle mesure il estime les prétentions injustifiées ou excessives. Faute de toute explication à cet égard, notamment liée à la nature et à l'importance de la cause, ou aux difficultés qu'elle pouvait présenter en lien avec les prestations qu'elle nécessite (cf. <ref-ruling> consid. 3a p. 2 s.), la motivation cantonale ne permet pas de déterminer en quoi les démarches de l'avocat étaient inutiles, de sorte que le droit d'être entendu de ce dernier a été violé, ce d'autant qu'il n'a pas eu l'occasion de préciser ses prétentions ou de fournir une note d'honoraires plus détaillée.
C'est le cas également s'agissant des débours dans la mesure où l'autorité cantonale ne les qualifie pas d'excessifs ou d'injustifiés. Si la décision entreprise suggère que les fiches de transmission ne sont pas prises en considération dans le calcul des débours, que chaque affranchissement est limité à 1 franc et que des frais de photocopies à 30 ct. l'unité est inadmissible, elle ne contient toutefois aucune motivation à cet égard.
En définitive, le juge cantonal a failli à son obligation de motiver la décision fixant le montant de l'indemnité d'office, telle qu'elle découle de l'art. 29 al. 2 Cst. et de la jurisprudence précitée.
3.
Au vu de ce qui précède, le recours doit être admis, la décision cantonale annulée et renvoyée à l'autorité précédente pour qu'elle statue à nouveau. Le recourant, qui obtient gain de cause, ne supporte pas de frais (<ref-law>). Il peut prétendre à des dépens à la charge du canton de Vaud (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale afin qu'elle rende une nouvelle décision au sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 2'000 fr., à verser au recourant à titre de dépens, est mise à la charge du canton de Vaud.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 30 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Boëton