Faits :
A.
Par jugement du 12 février 2019, la Juge de police de l'arrondissement de la Gruyère a reconnu E._ coupable de lésions corporelles simples (<ref-law>) et exposition (<ref-law>) au préjudice de C.A._ et l'a condamnée à une peine privative de liberté de 12 mois, avec sursis pendant 3 ans. E._ a été condamnée à verser, à titre d'indemnité pour tort moral, des montants de 12'000 fr. à C.A._, de 8'000 fr. à D.A._, sa soeur, et de 6'000 fr. à chacun de ses parents, B.A._ et A.A._. Il a été pris acte des réserves civiles de ces derniers à raison de montants et postes de dommages supplémentaires. Une indemnité pour les dépenses obligatoires occasionnées par la procédure de 14'901 fr. 90 a été allouée à B.A._, A.A._, C.A._ et D.A._, solidairement. La Juge de police a mis les frais de procédure à la charge de E._.
B.
Par arrêt du 11 janvier 2021, la Cour d'appel pénal du Tribunal cantonal du canton de Fribourg a rejeté l'appel formé par E._ contre le jugement de première instance (portant sur la culpabilité) et a admis l'appel joint de B.A._, A.A._, D.A._ et C.A._ (portant sur les indemnités allouées). Le montant alloué à chacun des parents de C.A._ à titre de réparation du tort moral a été porté à 8'000 fr. et l'indemnité pour les dépenses obligatoires occasionnées par la procédure de première instance à 15'045 fr. 05. L'indemnité de défenseur d'office de E._ pour la procédure d'appel a été arrêtée à 7'209 fr. 85 et cette dernière a été condamnée à verser un montant de 4'579 fr. 95 (TVA comprise) à B.A._, A.A._, D.A._ et C.A._, solidairement, à titre d'indemnité pour les dépenses obligatoires occasionnées par la procédure d'appel (<ref-law>; ch. V du dispositif).
C.
A.A._, B.A._, C.A._ et D.A._ recourent en matière pénale au Tribunal fédéral contre l'arrêt cantonal du 11 janvier 2021 et concluent, avec suite de frais et dépens, à ce que E._ soit condamnée à leur verser, solidairement, à titre d'indemnité pour leurs dépenses obligatoires occasionnées par la procédure d'appel, un montant de 7'516 fr. 70 (TVA comprise). Subsidiairement, ils concluent à l'annulation du ch. V du dispositif de l'arrêt et au renvoi de la cause à la cour cantonale pour nouvelle décision.

Considérant en droit :
1.
Les recourants se plaignent exclusivement de la quotité de l'indemnité octroyée pour leurs dépenses obligatoires occasionnées par la procédure d'appel, qu'ils jugent insuffisante. Ils font valoir une violation de leur droit d'être entendus sur ce point, ainsi que de l'<ref-law> et estiment que le montant a été fixé arbitrairement. Selon eux, la cour cantonale a violé les principes d'égalité des armes et d'égalité de traitement en fixant le montant de l'indemnité de dépens.
Ils disposent de la qualité pour recourir au Tribunal fédéral conformément à l'<ref-law> (cf. <ref-ruling> consid. 4.1; arrêt 6B_47/2017 du 13 décembre 2017 consid. 2 non publié in <ref-ruling>).
1.1. L'<ref-law> prévoit que les prétentions en indemnités et en réparation du tort moral dans la procédure de recours sont régies par les art. 429 à 434 CPP.
A teneur de l'<ref-law>, la partie plaignante peut demander au prévenu une juste indemnité pour les dépenses obligatoires occasionnées par la procédure, si elle obtient gain de cause (let. a) ou si le prévenu est astreint au paiement des frais conformément à l'<ref-law> (let. b). Selon l'al. 2, la partie plaignante adresse ses prétentions à l'autorité pénale; elle doit les chiffrer et les justifier. Si elle ne s'acquitte pas de cette obligation, l'autorité pénale n'entre pas en matière sur la demande.
La juste indemnité, notion qui laisse un large pouvoir d'appréciation au juge, couvre les dépenses et les frais nécessaires pour faire valoir le point de vue de la partie plaignante dans la procédure pénale. Il s'agit en premier lieu des frais d'avocat (<ref-ruling> consid. 4.1 et consid. 4.5). Les démarches doivent apparaître nécessaires et adéquates pour la défense du point de vue de la partie plaignante (arrêts 6B_1286/2016 du 15 août 2017 consid. 2.1; 6B_864/2015 du 1er novembre 2016 consid. 3.2). A l'instar de ce qui prévaut pour l'indemnité selon l'<ref-law>, déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour les frais de défense selon l'<ref-law> peut être allouée à la partie plaignante est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (cf. <ref-ruling> consid. 2.1 et les références citées; arrêt 6B_483/2020 du 13 octobre 2020 consid. 3.1). Le Tribunal fédéral n'intervient que lorsque l'autorité précédente a clairement excédé son pouvoir d'appréciation et que les honoraires alloués sont hors de toute proportion raisonnable avec les prestations fournies par l'avocat (arrêts 6B_249/2021 du 13 septembre 2021 consid. 6.2; 6B_757/2020 du 4 novembre 2020 consid. 4.1; 6B_865/2018 du 14 novembre 2019 consid. 13.3). Selon la jurisprudence, l'indemnité doit correspondre au tarif usuel du barreau applicable dans le canton où la procédure se déroule (cf. <ref-ruling> consid. 3.1.2; arrêts 6B_249/2021 précité consid. 6.2; 6B_1341/2019 du 20 février 2020 consid. 2.1).
Selon la jurisprudence rendue en matière de dépens, la garantie du droit d'être entendu implique que lorsque le juge statue sur la base d'une liste de frais, il doit, s'il entend s'en écarter, au moins brièvement indiquer les raisons pour lesquelles il tient certaines prétentions pour injustifiées, afin que son destinataire puisse attaquer la décision en connaissance de cause (arrêts 6B_1341/2019 précité consid. 2.1; 6B_248/2019 du 29 mars 2019 consid. 2.1.2; 6B_1410/2017 du 15 juin 2018 consid. 3.1).
A teneur de l'art. 75a al. 2 du règlement sur la justice du canton de Fribourg (RJ/FR; RS/FR: 130.11), la fixation des honoraires et débours d'avocat et d'avocate dus au titre d'indemnité a lieu sur la base d'un tarif horaire de 250 francs. Toutefois, dans les cas particulièrement complexes ou nécessitant des connaissances spécifiques, le tarif horaire peut être augmenté jusqu'à 350 francs. Les courriers et téléphones qui ne sortent pas d'une simple gestion administrative du dossier peuvent, par application analogique de l'art. 67 RJ/FR, être indemnisés par une indemnité forfaitaire de 500 fr. au maximum. Les débours nécessaires sont remboursés au prix coutant, les frais de copie, de port et de téléphone étant toutefois fixés forfaitairement à 5 % de l'indemnité de base (art. 68 al. 2 RJ/FR).
1.2. Retenant que les parties plaignantes ont résisté avec succès à l'appel de E._ et ont eu gain de cause sur les appels joints, la cour cantonale a admis qu'elles avaient droit à une indemnité pour leurs dépenses obligatoires occasionnées par la procédure d'appel.
La cour cantonale a relevé que la liste de frais du défenseur des parties plaignantes faisait état de 26 heures et 59 minutes consacrées à leur défense. Elle a tenu compte de l'ensemble des circonstances, à savoir du fait que, principalement, leurs conclusions tendaient à la confirmation du jugement de première instance qui avait suivi leurs positions et non pas au renversement de la solution retenue, ainsi que des intérêts en jeu, qui n'étaient pas comparables à ceux de la prévenue. Elle a estimé que l'indemnité requise était trop élevée et a arrêté la juste indemnité due en vertu de l'<ref-law> par E._, à 4'579 fr. 95 (TVA de 327 fr. 45 comprise), correspondant à 15 heures de travail, 300 fr. de forfait correspondance et des débours par 5 %, le détail du calcul étant joint en annexe.
1.3. La cour cantonale a indiqué les motifs pour lesquels elle a jugé que 15 heures étaient suffisantes pour la défense en appel des recourants, en annexant un détail du calcul à l'arrêt entrepris. Elle a exposé que, dans la mesure où la réponse à l'appel de l'intimée tendait à la confirmation du jugement de première instance, le nombre d'heures de travail destinées à la rédaction de ce mémoire (environ 15 heures) était trop élevé pour ce poste. Elle a donc brièvement indiqué les raisons pour lesquelles elle écartait certaines prétentions en lien avec la rédaction de la réponse à l'appel. Aussi, les recourants, qui ont saisi la portée de la décision sur ce point, ne sauraient se prévaloir d'une violation de leur droit d'être entendus sous l'angle du droit à une décision motivée (cf. sur ce point: <ref-ruling> consid. 3.4.3; <ref-ruling> consid. 2.1; <ref-ruling> consid. 3.2.1). Les recourants se prévalent en vain d'une affaire dans laquelle les 75 heures de travail apparaissant dans la liste de frais du défenseur ont été réduites à 25 heures (réduction de 75 %), sans que la motivation de la décision entreprise ne permette de comprendre si les notes d'honoraires déposées n'étaient pas claires ou si les opérations n'étaient pas nécessaires (cf. arrêt 6B_833/2015 du 30 août 2016 consid. 2). En l'occurrence, il ressort expressément de la motivation de l'arrêt entrepris pour quel poste le nombre d'heures indiquées était trop élevé. La cour cantonale a également expressément exposé que les courriers et téléphones (apparaissant dans plusieurs postes de l'état de frais) devaient être indemnisés de manière forfaitaire conformément au règlement cantonal. Aussi, le grief déduit d'une violation du droit d'être entendu est infondé.
1.4. En substance, il ressort de l'état de frais déposé par le défenseur des parties plaignantes pour la procédure d'appel (pce 5), qu'il a pris connaissance de la décision de première instance en 1h, que les échanges téléphoniques avec le client ont duré une vingtaine de minutes, qu'environ 4h15 (2h + 2h15) ont été nécessaires à la rédaction de l'appel joint et 15h00 (5h + 6h30 + 3h30) pour la rédaction de la réponse et des déterminations sur l'appel de l'intimée. Pour le surplus, il est fait mention de frais liés à la prise de connaissance de correspondances et documents, et de différents appels, courriers, courriels et photocopies.
Les recourants ne prétendent ni ne tentent de démontrer que les différents postes liés à la correspondance allaient au-delà d'une gestion administrative du dossier ou que les débours devaient être indemnisés à prix coutant, contrairement à ce que prévoit le règlement cantonal. En définitive, sur les 20h35 environ consacrées à la défense des recourants en appel, hors débours et forfait correspondance, la cour cantonale en a retenu 15h comme étant nécessaires, opérant une réduction de l'ordre de 25 % des heures annoncées. Les honoraires alloués demeurent dans une proportion raisonnable avec les prestations fournies par l'avocat, au tarif usuel du barreau fribourgeois. Ce faisant, la cour cantonale n'a pas dépassé son large pouvoir d'appréciation en la matière.
Faute pour les recourants, qui ont obtenu gain de cause sur appel et ont été indemnisés à hauteur de 4'579 fr. 95, d'avoir été placés dans une situation de net désavantage par rapport à la prévenue, la cour cantonale n'a pas violé le principe de l'égalité des armes, lequel exige un "juste équilibre" entre les parties, notamment entre le prévenu et la partie civile (cf. <ref-ruling> consid. 1.4.5; arrêt 6B_259/2016 du 21 mars 2017 consid. 4.3.1; arrêts CourEDH Ali Riza contre Suisse du 13 juillet 2021, requête n° 74989/11, § 129; Avotins contre Lettonie du 23 mai 2016, requête n° 17502/07, § 119). Pour ce motif et au vu de leurs différents statuts dans la présente procédure, les recourants ne sauraient davantage invoquer une violation du principe de l'égalité de traitement avec la prévenue, du fait que les frais de défense admis en faveur de cette dernière sont supérieurs aux leurs.
Les griefs des recourants dirigés contre la quotité du montant accordé au titre d'indemnité des frais de défense au sens de l'<ref-law> sont infondés.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Les recourants, qui succombent, supportent les frais judiciaires (<ref-law>), solidairement entre eux. L'intimée, qui n'a pas été invitée à se déterminer, ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 17 novembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Klinke