Faits:
A.
Entre le 27 février 2004 et le 19 octobre 2010, le quadricycle à moteur appartenant à X._ a été séquestré dans le cadre d'une procédure pénale impliquant son fils. X._ a déposé une demande d'indemnisation le 17 septembre 2010.
B.
Par décision du 19 juillet 2011, le juge unique de la cour pénale I du Tribunal cantonal a partiellement admis la demande d'indemnisation et a accordé à X._ un montant de 5'164.65 fr., avec intérêts à 5% l'an dès le 19 octobre 2010.
Par arrêt 6B_618/2011 du 22 mars 2012, le Tribunal fédéral a annulé cette décision au motif que l'autorité cantonale avait violé le droit fédéral en appliquant le CPP aux prétentions formulées par X._ en lieu et place des dispositions de droit cantonal en vigueur lors de la survenance du dommage invoqué. Il a renvoyé la cause à cette autorité pour reprise de la procédure, ce suivant les règles posées par les <ref-law>.
C.
Par jugement du 1er février 2013, le juge III du Tribunal du district de Monthey a accordé un montant total de 5'164.65 fr., avec intérêts à 5% l'an dès le 19 octobre 2010, et une indemnité réduite de 2'200 fr. pour toutes les dépenses occasionnées par la procédure d'indemnisation.
D.
Par ordonnance du 21 juin 2013, la Chambre pénale du Tribunal cantonal du Valais a rejeté le recours formé par X._. S'agissant de l'indemnité réclamée par ce dernier à la suite du séquestre de son véhicule, l'autorité cantonale, en application de l'art. 114 al. 1 du code de procédure pénale du canton du Valais du 22 février 1962, en vigueur jusqu'au 31 décembre 2010 (aCPP/VS; RS/RSV 312), a considéré que la dépréciation du véhicule du seul fait de l'écoulement du temps n'avait pas à être indemnisée.
E.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cette ordonnance. Il conclut à son annulation et à ce que l'Etat du Valais soit astreint à lui verser non pas 5'164.65 fr. mais 10'205.65 fr., avec intérêts compensatoires à 5% l'an dès le 19 octobre 2010. Il sollicite pour le surplus le renvoi de la cause au Tribunal cantonal pour nouvelle décision sur les dépens de la procédure cantonale.

Considérant en droit:
1.
Le recourant se plaint que la dépréciation de valeur de son véhicule durant la procédure pénale dirigée contre son fils - utilisateur dudit véhicule - n'ait pas été indemnisée. Il s'en prend ainsi à la manière dont l'autorité précédente a interprété et appliqué le droit cantonal en matière d'indemnisation, droit déterminant en l'espèce pour trancher de cette question.
1.1. Sauf dans les cas cités expressément à l'<ref-law> - non réalisés ici -, la violation du droit cantonal, y compris le droit fédéral appliqué à titre de droit cantonal supplétif, ne constitue pas un motif de recours en tant que tel. La partie recourante peut uniquement se plaindre de ce que l'application du droit cantonal par l'autorité précédente consacre une violation du droit fédéral au sens de l'<ref-law>, en particulier qu'elle est arbitraire (<ref-ruling> consid. 2.2 p. 69). Le Tribunal fédéral n'examine le moyen fondé sur la violation d'un droit constitutionnel ou du droit cantonal que si le grief a été invoqué et motivé de manière précise (<ref-law>).
1.2. Le recourant n'expose pas dans quelle mesure le droit cantonal aurait été arbitrairement interprété ou appliqué. La seule citation d'un passage de doctrine relatif à l'<ref-law>, qui ne pourrait s'appliquer qu'à titre supplétif, n'est pas suffisante pour considérer le grief suffisamment motivé. Il s'ensuit que le recours est irrecevable en tant qu'il critique le refus d'indemniser la perte de valeur du véhicule durant le séquestre. Les griefs que le recourant soulève s'agissant de la valeur de dépréciation à retenir sont sans objet.
2.
Pour le surplus, le recourant ne motive pas sa conclusion en renvoi du dossier à l'autorité cantonale pour nouvelle décision sur les dépens de la procédure cantonale. I l n'y a pas lieu d'entrer en matière sur ce point (art. 42 al. 2 et 106 al. 2 LTF).
3.
Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Juge unique prononce:
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 18 mars 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge unique: Denys
La Greffière: Cherpillod