Faits :
A.
Par jugement du 4 février 2016, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a libéré X._ de l'accusation de voies de fait qualifiées (<ref-law>) et dit que l'Etat de Vaud était son débiteur de la somme de 8'079.-- fr. pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure.
B.
Par jugement du 29 juillet 2016, le Président de la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel du Ministère public formé à l'encontre de ce jugement en lien avec l'indemnisation octroyée à X._ pour ses frais de défense. Il a déclaré irrecevable pour cause de tardiveté l'appel formé par la partie plaignante contre ce même jugement.
Au préalable, X._ a fait part de ses déterminations sur l'appel du Ministère public dans un délai imparti au 27 juillet 2016 par l'autorité d'appel, celle-ci ayant informé les parties que l'appel serait traité en procédure écrite. Il a conclu au rejet de l'appel, avec suite de frais et dépens. Dans son jugement, le Président de la Cour d'appel pénale a refusé d'allouer à X._ une indemnité pour la procédure d'appel, au motif qu'il n'avait ni chiffré ni détaillé ses prétentions.
C.
X._ forme un recours en matière pénale. Il conclut principalement à la réforme du jugement attaqué en ce sens qu'il lui est alloué une indemnité de 2'515 fr. pour la procédure d'appel. Subsidiairement, il conclut à l'annulation du jugement entrepris en tant qu'il comporte le refus de l'indemniser pour la procédure d'appel et au renvoi de la cause au Président de la Cour d'appel pénale pour nouvelle décision dans le sens des considérants.
D.
Invités à se déterminer sur le mémoire de recours, la cour cantonale et le Ministère public y ont renoncé, se référant aux considérants de la décision entreprise.

Considérant en droit :
1.
Le recourant produit un relevé des opérations effectuées par son conseil pour la procédure de recours pour la somme de 2'515 fr.
1.1. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision entreprise (<ref-law>). Il n'y a donc exception à cette règle que lorsque c'est la décision de l'autorité précédente qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve, ce qu'il appartient au recourant de démontrer (<ref-ruling> consid. 3 p. 395).
1.2. En l'espèce, la note d'honoraires vise à établir le bien-fondé de la prétention en indemnisation du recourant, mais ne constitue pas une pièce destinée à établir la réalité d'un vice de procédure provoqué par la décision attaquée. Partant, elle est irrecevable.
2.
Le recourant se plaint d'une violation de l'<ref-law> en relation avec le refus de toute indemnisation pour ses frais de défense en instance de recours. Il soutient qu'il a indûment été privé de la possibilité de chiffrer et de justifier ses prétentions.
2.1. Selon l'<ref-law>, applicable à la procédure d'appel par le renvoi de l'<ref-law>, le prévenu acquitté totalement ou en partie ou au bénéfice d'un classement a droit à une indemnité notamment pour ses dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (let. a). L'<ref-law> prévoit que l'autorité pénale examine d'office les prétentions du prévenu. Elle peut enjoindre à celui-ci de les chiffrer et de les justifier. La jurisprudence a déduit de cette dernière disposition qu'il incombe à l'autorité pénale, à tout le moins, d'interpeller le prévenu sur la question de l'indemnité et de l'enjoindre au besoin de chiffrer et justifier ses prétentions en indemnisation (<ref-ruling> consid. 1.3.1 p. 240; arrêt 6B_477/2016 du 22 mars 2017 consid. 2.1).
Savoir si le recours à un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour les frais de défense selon l'<ref-law> peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement (<ref-ruling> consid. 3.2.1 p. 169). C'est en premier lieu aux autorités pénales qu'il appartient d'apprécier le caractère raisonnable de l'activité de l'avocat et elles disposent dans ce cadre d'un pouvoir d'appréciation considérable. Le Tribunal fédéral s'impose par conséquent une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente; il n'intervient que lorsque celle-ci a clairement abusé de son pouvoir d'appréciation et que les honoraires alloués sont hors de toute proportion raisonnable avec les prestations fournies par l'avocat (<ref-ruling> consid. 3.2.1 p. 169).
2.2. En l'espèce, il n'est pas contesté que le recourant pouvait recourir à un avocat pour se déterminer sur l'appel du Ministère public. Dans ses écritures tendant au rejet de l'appel, le recourant a conclu à l'octroi de dépens. Le rejet de l'appel du Ministère public et la confirmation de l'acquittement du recourant fondaient le droit de celui-ci à être indemnisé pour les dépenses occasionnées par la procédure de recours au sens de l'<ref-law>. Le recourant ayant conclu à l'octroi de dépens, il incombait au Président de la cour d'appel pénale de l'interpeller pour qu'il chiffre et justifie ses prétentions, en application de l'<ref-law>. Faute de l'avoir fait, l'autorité cantonale a violé le droit fédéral.
3.
Le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée au Président de la cour d'appel pénale pour qu'il rende une nouvelle décision sur l'indemnisation des frais de défense du recourant pour la procédure de recours. Le canton de Vaud sera dispensé des frais (<ref-law>). Il versera en revanche au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Président de la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 mai 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens