Faits:
A.
A._ et B._ ont déposé plainte pénale le 2 juin 2006 contre X._ et Y._, pour abus de confiance, escroquerie et faux dans les titres. Par ordonnance du 14 janvier 2013, le Ministère public a classé la procédure, laissé les frais à la charge de l'Etat et refusé d'accorder une indemnité au sens de l'<ref-law> à X._.
B.
Par arrêt du 28 mars 2013, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis le recours de X._ et lui a accordé une indemnité au sens de l'<ref-law> à raison de 5'818 fr. 50.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, sous suite de dépens, principalement à sa réforme en ce sens qu'une indemnité de 7'929 fr. 90, subsidiairement de 6'874 fr. 20 lui est accordée. Subsidiairement, il requiert l'annulation de l'arrêt attaqué.
Le Ministère public du canton de Vaud s'est déterminé et a conclu au rejet du recours. A la suite de cette écriture, X._ a déposé des observations.

Considérant en droit:
1.
Le recours en matière pénale est ouvert contre la décision fixant l'indemnisation prévue à l'<ref-law> (cf. <ref-ruling> consid. 1 p. 208).
2.
2.1. Selon l'<ref-law>, le prévenu acquitté totalement ou en partie ou au bénéfice d'un classement a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. L'indemnité concerne les dépenses du prévenu pour un avocat de choix (<ref-ruling> consid. 1 p. 206). Elle couvre en particulier les honoraires d'avocat, à condition que le recours à celui-ci procède d'un exercice raisonnable des droits de procédure. Selon le message du Conseil fédéral, l'Etat ne prend en charge les frais de défense que si l'assistance d'un avocat était nécessaire compte tenu de la complexité de l'affaire en fait ou en droit et que le volume de travail et donc les honoraires étaient ainsi justifiés (Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1313 ch. 2.10.3.1).
2.2. En l'occurrence, la cour cantonale a admis la nécessité de l'assistance d'un avocat ainsi que le nombre d'heures annoncées pour l'accomplissement du mandat (19 h 33). Elle a exclu d'appliquer un tarif horaire de 300 à 350 fr. en relevant que, selon sa pratique, elle se basait sur un tarif horaire de 270 fr., TVA incluse. C'est ce tarif horaire que conteste le recourant, estimant qu'il peut prétendre à une indemnité qui couvre ce que lui a effectivement facturé son avocat.
2.3. De manière générale, la doctrine est d'avis que l'indemnité visée par l'<ref-law> doit correspondre au tarif usuel du barreau applicable dans le canton où la procédure se déroule et englober la totalité des coûts de défense (cf. JEANNERET/KUHN, Précis de procédure pénale, 2013, n° 5065; MIZEL/RÉTORNAZ, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 35 ad <ref-law>; WEHRENBERG/BERNHARD, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n° 15 ad <ref-law>). Cette approche doit être suivie. En effet, l'indemnisation prévue à l'<ref-law> tend à ce que l'Etat répare la totalité du dommage en relation avec la procédure pénale (cf. FF 2006 1313).
Pour la fixation des honoraires en matière judiciaire, différents cantons alémaniques ont prévu un tarif, qui s'applique à titre subsidiaire faute d'accord particulier entre l'avocat et son client (cf. les exemples cités in BOHNET/MARTENET, Droit de la profession d'avocat, 2009, n. 2947 p. 1163). Lorsqu'une telle tarification cantonale existe, elle doit être prise en compte pour fixer le montant de l'indemnisation selon l'<ref-law> (cf. NIKLAUS OBERHOLZER, Grundzüge des Strafprozessrechts, 3e éd. 2012, n. 1740 p. 613; WEHRENBERG/BERNHARD, ibidem). Elle sert ainsi de guide pour la détermination de ce qu'il faut entendre par frais de défense usuels dans le canton où la procédure s'est déroulée. A cet égard, l'Etat ne saurait être lié par une convention d'honoraires passée entre le prévenu et son avocat qui sortirait du cadre de ce qui est usuel (cf. arrêt 6B_30/2010 du 1er juin 2010 consid. 5.4.2).
2.4. Le ministère public invoque les tarifs cantonaux en question, en particulier ceux de Zoug, St-Gall et Bâle-Ville, ainsi que le règlement du Tribunal pénal fédéral sur les frais, émoluments, dépens et indemnités de la procédure pénale fédérale du 31 août 2010 (RFPPF; RS 173.713.162) pour justifier le taux horaire de 270 fr. dans le cas d'espèce. Toutefois, ces réglementations cantonales et la réglementation fédérale, indépendamment du fait qu'elles ne présentent pas une solution uniforme, sont sans portée pour une procédure menée dans le canton de Vaud, où aucun tarif spécifique n'a été adopté pour la fixation des honoraires entre l'avocat et son client en matière pénale. Il existe uniquement une norme de droit public qui détermine les critères permettant d'apprécier l'admissibilité des honoraires. Il s'agit de l'art. 45 al. 1 de la loi vaudoise sur la profession d'avocat du 24 septembre 2002 (LPav/VD; RS/VD 177.11), qui prévoit que l'avocat a droit à des honoraires fixés en tenant compte du temps consacré à l'exécution du mandat, des difficultés et des délais d'exécution de celui-ci, de l'importance des intérêts en cause, du résultat obtenu et de son expérience (cf. BOHNET/MARTENET, op. cit., n. 2948 p. 1164). C'est sur la base de cette norme que le tarif usuel dans le canton de Vaud doit être apprécié.
2.5. Le ministère public invoque les arrêts 6B_434/2008 du 29 octobre 2008 consid. 3.1 et 6B_668/2009 du 5 mars 2010 consid. 3.2.2 rendus par le Tribunal fédéral. C'est également à cette dernière décision que l'autorité cantonale se réfère indirectement pour appuyer sa pratique de prise en compte d'un tarif horaire de 250 fr. + 8% de TVA, soit 270 fr. (arrêt attaqué, p. 6 citant l'arrêt n° 655 de la Chambre des recours pénale vaudoise du 21 juin 2012). L'arrêt 6B_434/2008, dont la solution a été reprise sans discussion par l'arrêt 6B_668/2009, examinait l'indemnité accordée à l'accusé libéré des fins de poursuite pénale et calculée sur la base du tarif de 270 francs. Le Tribunal fédéral avait à cette occasion jugé, au consid. 3.1, comme non arbitraire ce tarif, au motif qu'il s'agissait d'une diminution du tarif usuellement pratiqué dans le canton de Vaud, d'après une jurisprudence cantonale bien établie.
Le cas d'espèce est toutefois différent de ceux tranchés dans les arrêts précités. D'une part, les indemnités examinées dans ces arrêts se fondaient sur du droit cantonal - l'<ref-law>/VD en vigueur jusqu'au 31 décembre 2010 - dont l'application n'était revue que sous l'angle restreint de l'arbitraire, ce qui n'est pas le cas de l'examen de l'application de l'<ref-law>. D'autre part et surtout, l'<ref-law>/VD prévoyait l'octroi non pas d'une pleine indemnité mais uniquement d'une indemnité équitable qui pouvait être inférieure à la réparation complète du dommage (cf. arrêt 1P.456/1991 du 23 décembre 1991 consid. 2a publié au JdT 1992 III 88). Cette situation se distingue de celle visée à l'<ref-law> qui implique le remboursement de l'entier des frais de défense usuels et raisonnables. Si l'on pouvait dès lors admettre sous l'empire de l'ancien droit de procédure cantonale une réduction du tarif horaire usuellement pratiqué dans le canton, tel n'est plus le cas aujourd'hui. La jurisprudence citées est désormais sans portée.
2.6. La cour cantonale a justifié le taux horaire de 270 fr., correspondant à 250 fr. plus 8 % de TVA en invoquant "sa pratique". La pratique d'un tribunal ne saurait constituer une base légale et équivaloir à une réglementation topique. Il ressort en outre de la motivation cantonale que ce montant correspond au taux horaire usuel de la profession dans le canton de Vaud après réduction. Cette appréciation est confirmée par les différents arrêts de la Chambre des recours civiles du Tribunal cantonal vaudois, cités par le recourant, qui font état d'un taux horaire usuel de 330 à 350 francs. La doctrine mentionne quant à elle un même ordre de grandeur (cf. BOHNET/MARTENET, op. cit., p. 1174 n. 2972). Une telle réduction n'est pas compatible avec l'<ref-law>. Faute d'une réglementation autre que l'art. 45 al. 1 LPav/VD dans le canton de Vaud en matière pénale, notamment d'un tarif spécifique, l'indemnisation du recourant doit être fixée en considération des critères déduits de cette disposition, plus particulièrement du taux horaire usuel qu'elle sous-tend.
Il résulte de ce qui précède que le recours doit être admis. Il n'incombe pas au Tribunal fédéral de déterminer ici le taux usuel ni le montant de l'indemnisation dans le cas d'espèce de sorte que la cause est renvoyée en instance cantonale pour nouvelle décision.
3.
Vu l'issue de la procédure, il ne sera pas perçu de frais (<ref-law>) et le canton de Vaud versera au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale afin qu'elle rende une nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 novembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod