Faits :
A.
Par ordonnance pénale du 7 mai 2019, A._ a été reconnu coupable d'infraction simple à la LCR et condamné à une amende de 100 francs. Les frais de 60 fr. ont été mis à sa charge.
B.
Statuant sur opposition à cette ordonnance pénale par jugement du 4 juin 2020, le Tribunal de police de l'arrondissement de Lausanne a constaté que A._ s'est rendu coupable de contravention à l'art. 3 al. 1 OCR et l'a condamné à une amende de 100 francs. Les frais de procédure par 460 fr. ont été mis à sa charge.
C.
Par jugement du 13 novembre 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a libéré A._ du chef d'accusation de violation simple des règles de la circulation routière (cf. art. 3 al. 1 OCR), a laissé les frais de première instance, par 460 fr., ainsi que les frais d'appel, arrêtés à 1'210 fr., à la charge de l'État. Elle a refusé d'allouer une indemnité pour les frais de défense de A._.
En substance, il était reproché à A._ d'avoir, à Lausanne le 10 avril 2019 vers 11h, manipulé son téléphone portable avec sa main droite, à la hauteur de son volant, alors qu'il circulait avec son véhicule par trafic de moyenne densité, sur un tronçon dont la vitesse était limitée à 50 km/h, en ne portant plus son attention à la route et à la circulation pendant quelques secondes.
D.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement cantonal et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'une indemnité à hauteur de 2'379 fr. 65 lui est allouée pour les dépenses occasionnées pour l'exercice raisonnable de ses droits en première instance, ainsi qu'une indemnité de 2'127 fr. 10 pour sa défense en appel, à la charge de l'État. Subsidiairement, il conclut à l'annulation du jugement cantonal en tant qu'il refuse de l'indemniser au sens de l'<ref-law> et au renvoi de la cause à la cour cantonale pour nouvelle décision sur l'indemnisation des frais de défense en première instance et en appel.
E.
Invités à se déterminer sur le mémoire de recours, tant le ministère public que la cour cantonale y ont renoncé, cette dernière se référant aux considérants de son jugement.

Considérant en droit :
1.
Le recourant s'en prend exclusivement au refus de lui allouer une indemnité pour ses frais de défense en première instance et en procédure d'appel et invoque une violation de l'<ref-law>.
1.1. L'indemnisation du prévenu est régie par les art. 429 à 432 CPP, dispositions aussi applicables à la procédure de recours (y compris l'appel) par renvoi de l'<ref-law>. Le renvoi de l'<ref-law> aux art. 429 à 434 CPP ne signifie pas que les indemnités doivent se déterminer par rapport à l'issue de la procédure de première instance. Au contraire, elles doivent être fixées séparément pour chaque phase de la procédure, indépendamment de celle de première instance. Le résultat de la procédure de recours (respectivement d'appel) est déterminant (<ref-ruling> consid. 3.2.2; arrêt 6B_1324/2015 du 23 novembre 2016 consid. 2.2).
Quand bien même l'<ref-law> ne le prévoit pas expressément, le droit à l'indemnité pour les frais de défense en procédure de recours dépend de la question de savoir si l'intéressé obtient gain de cause ou succombe (MIZEL/RETORNAZ, in Commentaire romand, Code de procédure pénale suisse, 2ème éd. 2019, n° 2 ad <ref-law>; SCHMID/JOSITSCH, Schweizerische Strafprozessordnung, Praxiskommentar, 3ème éd. 2018, n° 1 ad <ref-law>; WEHRENBERG/FRANK, in Basler Kommentar, Schweizerische Strafprozessordnung, 2ème éd. 2014, n° 6 ad <ref-law>, en référence à l'<ref-law>). Selon l'<ref-law>, si ni un acquittement total ou partiel, ni un classement de la procédure ne sont prononcés mais que le prévenu obtient gain de cause sur d'autres points, il a droit à une juste indemnité pour ses dépenses. L'<ref-law> prévoit par ailleurs que si l'autorité de recours annule une décision conformément à l'art. 409, les parties ont droit à une juste indemnité pour les dépenses occasionnées par la procédure de recours et par la partie annulée de la procédure de première instance.
1.1.1. Selon l'<ref-law>, si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. La question de l'indemnisation du prévenu (<ref-law>) doit être traitée en relation avec celle des frais (<ref-law>). Si le prévenu supporte les frais en application de l'art. 426 al. 1 ou 2 CPP, une indemnité est en règle générale exclue. En revanche, si l'État supporte les frais de la procédure pénale, le prévenu a en principe droit à une indemnité selon l'<ref-law> (<ref-ruling> consid. 1.8.2; <ref-ruling> consid. 2.4.2).
Aux termes de l'<ref-law>, l'autorité pénale examine d'office les prétentions du prévenu et peut l'enjoindre de les chiffrer et de les justifier. Il incombe à cette dernière, à tout le moins, d'interpeller les parties à ce sujet et, éventuellement, de les enjoindre à chiffrer et à justifier leurs prétentions (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3.1; arrêt 6B_477/2016 du 22 mars 2017 consid. 2.1).
1.1.2. L'indemnité couvre en particulier les honoraires d'avocat, à condition que le recours à celui-ci procède d'un exercice raisonnable des droits de procédure. L'État ne prend en charge les frais de défense que si l'assistance d'un avocat était nécessaire compte tenu de la complexité de l'affaire en fait ou en droit et que le volume de travail et donc les honoraires étaient ainsi justifiés (<ref-ruling> consid. 2.1; arrêt 6B_757/2020 du 4 novembre 2020 consid. 4.1). L'allocation d'une indemnité pour frais de défense selon l'<ref-law> n'est pas limitée aux cas de défense obligatoire visés par l'<ref-law>. Elle peut être accordée dans les cas où le recours à un avocat apparaît tout simplement raisonnable. Il faut garder à l'esprit que le droit pénal matériel et le droit de procédure sont complexes et représentent, pour des personnes qui ne sont pas habituées à procéder, une source de difficultés. Celui qui se défend seul est susceptible d'être moins bien loti. Cela ne dépend pas forcément de la gravité de l'infraction en cause. On ne peut pas partir du principe qu'en matière de contravention, le prévenu doit supporter en général seul ses frais de défense. Autrement dit, dans le cadre de l'examen du caractère raisonnable du recours à un avocat, il doit être tenu compte, outre de la gravité de l'infraction et de la complexité de l'affaire en fait ou en droit, de la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.3.5). Dans les cas juridiquement simples, l'activité de l'avocat peut se limiter au minimum, à savoir tout au plus à une simple consultation (cf. ATF <ref-ruling> consid. 2.3.5).
Déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'<ref-law> peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (<ref-ruling> consid. 3.2.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.3.6).
1.2. La cour cantonale a acquitté le recourant au bénéfice du doute. Relevant qu'il n'était pas mis en cause pour avoir consulté son portable ou avoir téléphoné en conduisant, elle a considéré qu'il existait un doute quant au fait qu'il aurait tenu le téléphone plus qu'un "court instant" au sens de la jurisprudence relative à l'art. 3 OCR. Selon elle, aucun élément ne permettait de dire qu'il était inattentif à la circulation. Elle a ainsi réformé le jugement de première instance en ce sens.
Statuant sur les frais et indemnités, la cour cantonale a laissé les frais de première et seconde instances à la charge de l'État, vu l'issue de la cause. Elle a retenu que le recourant n'avait pas chiffré ni même conclu à l'allocation d'une indemnité pour ses frais de défense lors de la procédure d'appel, et a refusé de lui allouer une indemnité à ce titre. Dans un raisonnement subsidiaire, la cour cantonale a considéré que la cause était simple en fait et en droit et l'enjeu limité à une amende. Aussi, l'assistance d'un défenseur ne se justifiait de toute manière pas.
1.3. Le recourant s'en prend aux deux motivations de la décision entreprise, dans des griefs distincts, conformément aux exigences de la jurisprudence en la matière (cf. <ref-ruling> consid. 2.4 in fine; <ref-ruling> consid. 4.1.4).
Le refus de toute indemnité par la cour cantonale, qui ne se fonde pas sur l'<ref-law> (comportement illicite en lien avec la procédure), ne résiste pas à l'examen.
Le recourant a été acquitté en appel conformément à ses conclusions et a ainsi obtenu intégralement gain de cause, de sorte qu'il a droit à une indemnité pour la procédure de deuxième instance (cf. en ce sens arrêts 6B_1324/2015 du 23 novembre 2016 consid. 2.4; 6B_110/2015 du 16 février 2016 consid. 2), étant précisé qu'il a expressément conclu à l'octroi de dépens dans le cadre de son appel (cf. supra consid. 1.1.1 et notamment arrêts 6B_1142/2016 du 18 mai 2017 consid. 2.2; 6B_477/2016 du 22 mars 2017 consid. 2.2.1). Dans la mesure où la cour cantonale a admis l'appel à la suite d'une condamnation par ordonnance pénale et par jugement de première instance, elle ne pouvait refuser toute indemnisation des dépenses occasionnées par la défense en appel, au motif que la cause était simple en fait et en droit et l'enjeu limité à une amende. Le recours doit être admis sur ce point et la cause renvoyée à la cour cantonale pour qu'elle statue sur l'indemnité due pour les dépenses occasionnées en procédure d'appel, selon les principes applicables en la matière.
Ainsi que le relève le recourant, la cour cantonale ne s'est pas prononcée sur l'indemnité pour les frais de défense en première instance. Or elle ne pouvait libérer le recourant des frais de première instance et refuser l'indemnité pour cette même partie de la procédure, sans violer les principes dégagés par la jurisprudence en lien avec l'<ref-law> (cf. supra consid. 1.1.1). Le fait que l'acquittement ne concerne qu'une contravention ne suffit pas à exclure la défense par un avocat, ce d'autant qu'il résulte des différentes étapes de la procédure (ordonnance pénale, mise en accusation, instruction, condamnation en première instance) que la cause ne pouvait être considérée comme ne nécessitant pas un avocat en première instance, étant toutefois rappelé que dans les cas juridiquement simples, l'activité de l'avocat doit se limiter au minimum (cf. ATF <ref-ruling> consid. 2.3.5). Le recours doit être admis sur ce point également et la cause renvoyée à la cour cantonale pour qu'elle statue sur l'indemnité due pour les dépenses occasionnées pour la procédure de première instance.
2.
Le recours doit être admis, le jugement attaqué annulé s'agissant du refus de toute indemnisation, et la cause renvoyée à la cour cantonale pour qu'elle rende une nouvelle décision sur l'indemnisation des frais de défense du recourant pour les procédures de première instance et d'appel. Le canton de Vaud versera au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé s'agissant du refus d'indemnisation des frais de défense en première et seconde instances et la cause est renvoyée à l'autorité cantonale pour nouvelle décision sur ce point.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 25 juin 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Klinke