Faits :
A.
Statuant sur l'opposition à l'ordonnance pénale du 18 juillet 2018 du Ministère public, office régional du Bas-Valais, condamnant C.A._ à une peine pécuniaire de 30 jours-amende avec sursis pendant deux ans pour diffamation (<ref-law>), le Tribunal des districts de Martigny et St-Maurice a, par jugement du 15 novembre 2018, acquitté C.A._ du chef d'accusation de diffamation, rejeté les conclusions civiles de A.A._ et B.A._ et réglé le sort des dépens et frais de procédure.
B.
Par jugement du 3 décembre 2020, la Cour pénale II du Tribunal cantonal du Valais a rejeté l'appel formé par A.A._ et B.A._ à l'encontre du jugement du 15 novembre 2018, qu'elle a intégralement confirmé. Elle s'est fondée en substance sur les faits suivants.
C.A._ et A.A._ sont les parents de D.A._, née en 2011. A la suite de difficultés conjugales, C.A._ a déposé, le 7 septembre 2016, une requête de mesures protectrices de l'union conjugale devant le Tribunal des districts de Martigny et St-Maurice en sollicitant que la garde de sa fille lui soit attribuée. Une séance de conciliation s'est tenue le 10 octobre 2016, lors de laquelle A.A._ a sollicité une garde alternée. La conciliation n'a pas abouti mais l'épouse a consenti à ce que son mari puisse exercer son droit de visite tous les mercredis après-midi.
Le mardi 11 octobre 2016, A.A._ s'est rendu avec son père, B.A._, en fin de matinée au centre scolaire de U._, où D.A._ était scolarisée. C.A._ est arrivée au moment où sa fille sortait de l'école, vers 11h30. L'enfant a sauté dans les bras de son père. Les parents ont discuté entre eux pendant que D.A._ et son grand-père se trouvaient à l'écart. A.A._ a déclaré à son épouse qu'il voulait emmener leur fille jusqu'au lendemain. Celle-ci a, dans un premier temps, refusé. Puis, comme D.A._ a répondu affirmativement à la question de savoir si elle entendait rester avec son père, elle a finalement cédé. Au moment de quitter le centre scolaire, C.A._ a pris contact par téléphone avec son avocat. Le jour même, à 11h45, celui-ci a déposé une lettre au greffe du tribunal de district, libellée en ces termes:
" Madame la Présidente,
Ce jour, à 11.30 heures, A.A._ s'est présenté avec son père à la sortie de l'école à U._ et a enlevé de force l'enfant à sa mère en prétendant la ramener jeudi matin à U._. Ce comportement n'est pas acceptable et lèse le bien de l'enfant qui doit assister en public à des conflits pénibles entre les parents. Vu ce qui précède, je vous remercie de confier la garde de D.A._ à sa mère par voie de mesures superprovisionnelles [...] ".
Par décision " immédiatement exécutoire " du même jour, la juge en charge du dossier a confié la garde de l'enfant D.A._ à la mère " jusqu'à décision de mesures protectrices de l'union conjugale ", en prévoyant que le droit de visite du père s'exercerait, sauf meilleure entente entre les parties, un week-end sur deux et " tous les mercredis de 14h00 à 8h15 le jeudi matin (début des cours) ".
C.
A.A._ et B.A._ forment un recours en matière pénale au Tribunal fédéral contre le jugement de la Cour pénale II du Tribunal cantonal du Valais du 3 décembre 2020. Ils concluent principalement, avec suite de frais et dépens, à ce que C.A._ soit reconnue coupable de diffamation et condamnée à la peine que de droit, et qu'elle soit condamnée à verser à A.A._ la somme de 1'500 fr. et à B.A._ la somme de 1'000 fr. à titre de réparation de leur tort moral ainsi que des indemnités à titre de dépens. Subsidiairement, ils concluent à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le Tribunal fédéral contrôle d'office et librement la recevabilité des recours qui lui sont soumis.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1).
Lorsque, comme en l'espèce, la cause fait l'objet d'une procédure au fond, la partie plaignante doit avoir expressément pris des conclusions civiles. Le cas échéant, s'il ne lui est juridiquement et raisonnablement pas possible de prendre des conclusions civiles, il lui incombe d'expliquer quelles prétentions elle entend faire valoir, dans quelle mesure la décision attaquée a une incidence sur elles et pourquoi elle n'a pas été en mesure d'agir dans le cadre de la procédure pénale. La notion d'influence du jugement pénal sur les prétentions civiles est conçue strictement. La partie plaignante ne peut pas s'opposer à une décision parce que celle-ci ne facilite pas son action sur le plan civil. Il faut que la décision attaquée ait pour conséquence qu'elle rencontrera plus de difficultés à faire valoir ses prétentions civiles (<ref-ruling> consid. 1a; arrêt 6B_1072/2020 du 26 mai 2021 consid. 1.1).
1.2. A teneur de la décision attaquée, la cour cantonale a rejeté les conclusions civiles prises par les recourants en réparation de leur tort moral, dans la mesure où elle a prononcé l'acquittement de l'intimée pour défaut de réalisation d'un élément constitutif de l'infraction. Dans leur recours, les intéressés discutent la libération de l'intimée du chef d'accusation de diffamation et réitèrent leurs conclusions civiles. Ils ont, partant, qualité pour recourir à l'encontre du jugement entrepris.
2.
Les recourants soutiennent que l'acquittement de l'intimée repose sur un établissement arbitraire des faits.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.1.2; <ref-ruling> consid. 2.1, 88 consid. 1.3.1).
2.2. La cour cantonale a retenu que l'intimée avait déclaré à son conseil, lors de son appel téléphonique du 11 octobre 2016, que son mari avait " ramassé " leur fille à la sortie de l'école. L'intimée avait effectué cet appel à son avocat parce que, comme elle l'avait expliqué, elle était " énervée, en colère et triste ". Elle ne voulait pas que le père procède de la sorte de manière systématique et la contraigne à accepter un droit de visite plus étendu selon son désir et en fonction des circonstances. D'après les juges cantonaux, on comprenait l'état d'esprit de l'intimée lorsque l'on savait qu'elle avait fait le déplacement en voiture depuis V._, dans le canton de Fribourg, pour récupérer sa fille à la sortie de l'école à U._, et que son époux l'avait en quelque sorte mise devant le fait accompli. Celui-ci n'avait pas hésité à venir à l'école avec son propre père sans qu'elle n'en soit expressément avertie, alors que, la veille, elle avait participé avec lui à une longue séance devant le tribunal de Martigny pour débattre des droits de visite et de garde. En alertant son avocat, elle avait simplement voulu défendre ses intérêts, en vue d'un respect strict des modalités du droit de visite, et éviter de se retrouver dans une situation analogue à l'avenir. Certes, dans son courrier du même jour, l'avocat concerné avait soutenu que l'enfant avait été " enlevé de force " à sa mère. Il semblait toutefois avoir agi avec une certaine précipitation; preuve en était que le fait qu'il avait rédigé puis déposé cette lettre au greffe du tribunal de district moins de quinze minutes après l'appel téléphonique de sa cliente. Ce courrier comportait une date erronée. L'intéressé avait manifestement voulu grossir le trait pour obtenir des " mesures superprovisionnelles " en faveur de sa mandante en faisant état d'un enlèvement. L'avocat concerné ne s'était toutefois pas exprimé sur le contenu précis des propos tenus par sa cliente en invoquant le secret professionnel. Quoi qu'il en soit, selon les juges cantonaux, l'intimée était crédible lorsqu'elle avait expliqué avoir été surprise en prenant connaissance du courrier de son conseil, déclarant avoir appris par la suite que " les avocats utilisaient des termes plus forts ".
2.3. Les recourants discutent tout d'abord de l'état d'esprit dans lequel l'intimée a contacté son avocat. Ils se prévalent du témoignage de l'institutrice présente au moment où les parents de D.A._ discutaient devant l'école, qui a déclaré qu'elle " n'a[vait] pas constaté de tiraillement, ni de violence que ce soit d'un côté ou de l'autre ". Selon les recourants, c'était en contradiction avec ce témoignage que la cour cantonale avait retenu que l'intimée était " énervée, en colère et triste ", ou encore " froissée " lorsqu'elle avait téléphoné à son avocat.
Les recourants n'exposent pas en quoi le fait que l'intimée se serait trouvée dans de meilleures dispositions d'esprit que ce que retient le jugement entrepris, viendrait appuyer leur thèse - à savoir, que l'intimée avait déclaré que le père de sa fille la lui avait prise de force (ou des propos similaires). Dans cette mesure, il n'est pas évident que le grief soulevé puisse influer sur le sort du litige comme l'exige l'<ref-law>. Quoi qu'il en soit, il ne ressort pas de l'état de fait cantonal que la discussion des parents devant l'école, en présence de leur fille, ait été houleuse. En outre, que cette conversation ait parue normale à l'institutrice n'exclut nullement qu'après être repartie de l'école sans sa fille, l'intimée ait ressenti, au moment où elle a appelé son avocat, les émotions qu'elle a décrites à la police (énervement, colère, tristesse). Partant, les recourants ne démontrent pas que la cour cantonale aurait établi les faits en méconnaissant gravement un moyen de preuve ou encore que l'état de fait du jugement entrepris contiendrait une contradiction intrinsèque. Le grief est mal fondé dans la mesure où il est recevable.
2.4. Les recourants contestent que l'intimée se soit limitée à informer son avocat que le père de D.A._ était venu chercher sa fille en dehors de l'horaire de visite convenu et qu'elle entendait que cela ne se reproduise pas. Ils soutiennent que si le conseil de l'intimée avait réagi à l'appel de sa cliente en déposant une requête de mesures superprovisionnelles dans le quart d'heure suivant l'appel téléphonique, cela devait signifier que les propos tenus par l'intimée étaient alarmants au point de réclamer une action immédiate. Les recourants font grief aux juges cantonaux de faire peser l'entière responsabilité des propos exprimés dans le courrier de l'avocat sur ce dernier, sans qu'aucune preuve, indice ou élément probant ne le justifie. Le jugement entrepris omettait d'ailleurs de mentionner que l'avocat de l'intimée n'avait jamais été délié de son secret professionnel par sa cliente, qui s'y était toujours refusée.
2.4.1. La cour cantonale a constaté que l'avocat avait déposé son courrier au greffe très rapidement. Elle en a déduit que l'avocat avait agi de manière précipitée et que ce courrier, qui comportait une erreur de date, pouvait ne pas refléter les propos précis tenus par l'intimée, dans une volonté de grossir le trait afin d'obtenir des mesures superprovisionnelles sur la garde et le droit de visite. En affirmant que la précipitation de l'avocat devait être interprétée comme un indice que l'intimée avait accusé le recourant de lui avoir enlevé D.A._ de force, les recourants se contentent d'opposer leur propre appréciation des faits de la cause à celle de la cour cantonale, sans démontrer en quoi celle-ci serait arbitraire. Cette démarche est appellatoire, partant irrecevable.
2.4.2. A teneur de l'état de fait cantonal, l'intimée a indiqué à son avocat que le père de D.A._ avait " ramassé " sa fille à la sortie de l'école et lui avait en quelque sorte forcé la main. La cour cantonale a retenu que l'emploi du terme " ramassé ", certes peu adéquat, était compréhensible dans la mesure où le recourant s'était présenté, sans l'en avoir informée à l'avance, à la sortie de l'école pour exercer un droit de visite en dehors des jours convenus, en exploitant un effet de surprise. Elle a considéré que l'intimée était crédible lorsqu'elle avait déclaré qu'elle n'avait pas employé le terme d'enlèvement, mais celui de " ramasser ", qu'elle n'avait pas non plus dit " de force " et qu'elle avait trouvé les mots utilisés dans le courrier de son avocat " forts et exagérés ".
Les recourants ne critiquent pas l'appréciation cantonale portant sur la crédibilité de l'intimée. Ils ne se prévalent d'aucun moyen de preuve qui tendrait à indiquer que l'intimée a employé les termes que l'on peut lire dans le courrier en question. Par ailleurs, il ne ressort pas de l'état de fait cantonal que l'intimée aurait exprimé son refus de délier son avocat du secret professionnel, sans que les recourants n'établissent que cet élément de fait aurait été arbitrairement omis. On peut encore ajouter que, si le conseil de l'intimée a écrit que le recourant avait " enlevé de force l'enfant à sa mère ", il n'est pas contesté que l'objet de ce courrier était d'obtenir une décision sur la garde afin que le père n'agisse plus comme il l'avait fait ce matin-là, et non de le dénoncer pour avoir commis un enlèvement de mineur au sens de l'<ref-law>. Dans cette mesure, il n'était pas insoutenable de conclure, au bénéfice du doute, que l'intimée ne s'était pas plainte auprès de son avocat d'un acte d'enlèvement, mais souhaitait uniquement obtenir un respect strict des modalités du droit de visite.
Le grief d'arbitraire élevé à l'encontre de l'état de fait cantonal est ainsi infondé, dans la mesure de sa recevabilité.
2.5. Pour le surplus, les recourants ne discutent pas les considérants en droit de la cour cantonale, à teneur desquels le comportement de l'intimée, tel qu'établi en fait, n'est pas pénalement relevant.
3.
Sur le vu de ce qui précède, le recours est rejeté dans la mesure de sa recevabilité. Les recourants, qui succombent, supportent les frais judiciaires, solidairement entre eux (<ref-law>). Il n'y a pas lieu d'allouer des dépens à l'intimée, qui n'a pas été invitée à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale II.
Lausanne, le 27 septembre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Musy