Faits :
A.
L'avocat X._ a été désigné le 19 février 2016 en qualité de défenseur d'office de la prévenue B._.
Par ordonnance pénale du 5 juillet 2016, le ministère public a condamné B._ pour abus de confiance d'importance mineure, à une peine de 300 fr. d'amende et a mis les frais de procédure, par 3'100 fr. 10, à sa charge, y compris l'indemnité due à son défenseur d'office, l'avocat X._, par 1'675 fr. 10, cette part des frais n'étant toutefois supportée par l'intéressée que pour autant que sa situation financière le permette.
B.
L'avocat X._ a recouru contre l'ordonnance précitée, concluant à l'octroi d'une indemnité de 2'859 fr. 30, débours et TVA compris. Subsidiairement, il a conclu à son annulation, la cause étant renvoyée au procureur pour nouvelle décision motivée. Par arrêt du 25 juillet 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté son recours et a confirmé l'indemnité fixée par le ministère public à 1'675 fr. 10, débours et TVA compris.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à son admission, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
L'indemnité litigieuse a été fixée par une autorité de première instance dont la décision a ensuite fait l'objet d'un recours au plan cantonal. On ne se trouve donc pas dans l'hypothèse visée par l'<ref-law>. Le recours en matière pénale est ouvert (cf. <ref-ruling> consid. 1.7 p. 216).
2.
Le recours en matière pénale est une voie de réforme (<ref-law>). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité cantonale, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (<ref-ruling> consid. 1.3 p. 317; <ref-ruling> consid. 1.3 p. 383). En l'occurrence, le recourant n'a pas pris de conclusions sur le fond, mais a uniquement sollicité l'annulation du jugement attaqué et le renvoi de la cause à l'autorité précédente pour nouvelle décision. Une telle manière de faire est admissible s'agissant du grief de violation du droit d'être entendu, respectivement de déni de justice (cf. arrêt 6B_111/2015 du 3 mars 2016 consid. 1.7). En revanche, elle ne l'est pas s'agissant du grief portant sur la fixation du montant de l'indemnité qui lui a été allouée pour la procédure devant le ministère public. La conclusion en annulation de l'arrêt attaqué est insuffisante. Le fait que le Tribunal fédéral renvoie en principe la cause à l'autorité cantonale en cas d'admission du recours lorsque celui-ci porte sur le montant des frais et dépens ne dispense pas le recourant de prendre des conclusions chiffrées, dès lors que le Tribunal fédéral dispose d'un pouvoir de réforme (cf. arrêt 6B_133/2014 du 18 septembre 2014 consid. 1.2 et la référence citée). Cela vaut aussi pour la fixation d'une indemnité comme en l'espèce, le Tribunal fédéral disposant également à cet égard d'un pouvoir de réforme (cf. <ref-law>). Au demeurant, même à la lecture de la motivation du recours on ne comprend pas quel montant le recourant entend réclamer. En effet, l'intéressé conteste uniquement le retranchement des opérations antérieures à sa désignation du 19 février 2016 opéré par la cour cantonale. Or, sur ce point, l'autorité précédente - constatant que le montant retenu par le procureur était supérieur à la durée utile qu'elle avait elle-même calculée, mais qu'il serait exact si les opérations antérieures au 19 février 2016 ne devaient pas être exclues par principe - a finalement jugé qu'il n'y avait pas lieu de les déduire, confirmant ainsi le montant décidé par le ministère public. On ne distingue dès lors pas à quel montant le recourant prétend. Dans ces conditions, le recours du recourant en tant qu'il porte sur le montant de l'indemnité qui lui a été alloué ne satisfait pas aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF et est dès lors irrecevable dans cette mesure.
3.
Le recourant se plaint d'un déni de justice, en relation avec la violation de son droit d'être entendu (art. 29 al. 1 et 2 Cst. et 6 CEDH).
3.1. Selon la jurisprudence, l'autorité qui ne traite pas un grief relevant de sa compétence, motivé de façon suffisante et pertinent pour l'issue du litige, commet un déni de justice formel proscrit par l'art. 29 al. 1 Cst. (<ref-ruling> consid. 2.1 p. 9; <ref-ruling> consid. 2.3 p. 232; arrêt 6B_139/2016 du 21 novembre 2016 consid. 3.3). De même, la jurisprudence a déduit du droit d'être entendu de l'art. 29 al. 2 Cst. l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse se rendre compte de la portée de celle-ci et exercer son droit de recours à bon escient (<ref-ruling> consid. 2.1 p. 145). Pour satisfaire à ces exigences, il suffit que l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. Elle ne doit pas se prononcer sur tous les moyens des parties, mais peut au contraire se limiter aux questions décisives (<ref-ruling> consid. 4.2 p. 157). La motivation peut d'ailleurs être implicite et résulter des différents considérants de la décision (<ref-ruling> consid. 3.2.1 p. 565).
Une violation du droit d'être entendu peut toutefois être réparée dans le cadre de la procédure de recours lorsque l'irrégularité n'est pas particulièrement grave et pour autant que la partie concernée ait la possibilité de s'exprimer et de recevoir une décision motivée de la part de l'autorité de recours disposant d'un pouvoir d'examen complet en fait et en droit. Une réparation du vice procédural est également possible lorsque le renvoi à l'autorité inférieure constitue une vaine formalité, provoquant un allongement inutile de la procédure, incompatible avec l'intérêt de la partie concernée à ce que sa cause soit tranchée dans un délai raisonnable (<ref-ruling> consid. 2.3.2 p. 197 s.; <ref-ruling> consid. 2.2 p. 204 s.).
3.2. Le recourant, qui n'établit pas que l'art. 6 CEDH aurait une portée plus large que les garanties précitées déduites de l'art. 29 Cst., fait valoir que la cour cantonale aurait commis un déni de justice en ne traitant pas son grief de violation du droit d'être entendu sous l'angle d'un défaut de motivation, par lequel il indiquait que le procureur avait réduit de moitié le temps de travail allégué, sans mentionner - ne serait-ce que brièvement - les raisons pour lesquelles il tenait certaines opérations pour injustifiées ou excessives.
3.3. En l'occurrence, l'autorité précédente disposait d'un plein pouvoir d'examen en fait et en droit (cf. arrêt 6B_248/2015 du 13 mai 2015 consid. 3.1 et la référence citée) et n'était pas liée par les motifs invoqués par le recourant (cf. <ref-law>). Si le ministère public n'a effectivement pas précisé quelles opérations en particulier il tenait pour injustifiées ou exagérées, il a néanmoins indiqué que la durée d'activité revendiquée lui paraissait excessive au vu de la complexité de la cause. Or, sur ce point précis, la cour cantonale a explicité quelles opérations elle considérait comme excédant le temps raisonnablement nécessaire pour une telle affaire ne présentant guère de difficultés. Le grief soulevé par le recourant a ainsi fait l'objet d'un examen complet par l'autorité précédente. Du moins, le recourant n'explique pas en quoi cet examen aurait été incomplet. Dans ces circonstances, il faut admettre que la prétendue violation du droit d'être entendu dont il se plaint a bien été réparée par la cour cantonale, qui n'avait dans cette mesure pas à renvoyer la cause au ministère public. En outre, même en admettant que le droit d'être entendu du recourant a été gravement violé, question qui peut rester ouverte en l'espèce, le renvoi de la cause au ministère public constituerait de toute manière une vaine formalité, dans la mesure où l'intéressé a renoncé à contester ce point de la décision cantonale devant la cour de céans. On ne voit dès lors pas pourquoi ni quel intérêt il aurait à ce que le ministère public se prononce sur un élément qu'il ne remet plus en cause. Autant que recevable, le grief est infondé.
4.
Par conséquent, le recours doit être rejeté dans la mesure où il est recevable. Le recourant supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 9 juin 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel