Faits : A. Par jugement du 4 février 2016, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a libéré X._ de l'accusation de voies de fait qualifiées (art. 126 al. 2 CP) et dit que l'Etat de Vaud était son débiteur de la somme de 8'079.-- fr. pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. B. Par jugement du 29 juillet 2016, le Président de la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel du Ministère public formé à l'encontre de ce jugement en lien avec l'indemnisation octroyée à X._ pour ses frais de défense. Il a déclaré irrecevable pour cause de tardiveté l'appel formé par la partie plaignante contre ce même jugement. Au préalable, X._ a fait part de ses déterminations sur l'appel du Ministère public dans un délai imparti au 27 juillet 2016 par l'autorité d'appel, celle-ci ayant informé les parties que l'appel serait traité en procédure écrite. Il a conclu au rejet de l'appel, avec suite de frais et dépens. Dans son jugement, le Président de la Cour d'appel pénale a refusé d'allouer à X._ une indemnité pour la procédure d'appel, au motif qu'il n'avait ni chiffré ni détaillé ses prétentions. C. X._ forme un recours en matière pénale. Il conclut principalement à la réforme du jugement attaqué en ce sens qu'il lui est alloué une indemnité de 2'515 fr. pour la procédure d'appel. Subsidiairement, il conclut à l'annulation du jugement entrepris en tant qu'il comporte le refus de l'indemniser pour la procédure d'appel et au renvoi de la cause au Président de la Cour d'appel pénale pour nouvelle décision dans le sens des considérants. D. Invités à se déterminer sur le mémoire de recours, la cour cantonale et le Ministère public y ont renoncé, se référant aux considérants de la décision entreprise.