Faits : A. L'avocat X._ a été désigné le 19 février 2016 en qualité de défenseur d'office de la prévenue B._. Par ordonnance pénale du 5 juillet 2016, le ministère public a condamné B._ pour abus de confiance d'importance mineure, à une peine de 300 fr. d'amende et a mis les frais de procédure, par 3'100 fr. 10, à sa charge, y compris l'indemnité due à son défenseur d'office, l'avocat X._, par 1'675 fr. 10, cette part des frais n'étant toutefois supportée par l'intéressée que pour autant que sa situation financière le permette. B. L'avocat X._ a recouru contre l'ordonnance précitée, concluant à l'octroi d'une indemnité de 2'859 fr. 30, débours et TVA compris. Subsidiairement, il a conclu à son annulation, la cause étant renvoyée au procureur pour nouvelle décision motivée. Par arrêt du 25 juillet 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté son recours et a confirmé l'indemnité fixée par le ministère public à 1'675 fr. 10, débours et TVA compris. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à son admission, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision.