Faits :
A.
D._ est né en 1927 au Caire (Egypte). Il a acquis la nationalité belge à la suite de son mariage avec B._, citoyenne belge; selon un jugement du Tribunal de Grande instance d'Athènes du 27 mars 2017 (sur ce jugement, cf. infra, consid. C.c), il posséderait aussi la nationalité grecque, question qui est toutefois litigieuse.
Le couple précité a eu un fils, A._.
D._ est décédé le 22 février 2014 à U._, où il résidait.
B.
B.a. Le 5 mai 2014, Me H._ notaire à Bruxelles, a établi une attestation d'hérédité à teneur de laquelle le défunt laissait comme seuls héritiers réservataires son épouse B._ et son fils A._, la succession étant " recueillie à concurrence de l'usufruit par sa veuve [...] et par son fils unique [...] ".
Le 23 septembre 2014, la Justice de paix d'Athènes a délivré un certificat attestant que les uniques héritiers de D._ étaient son épouse (pour l'usufruit) et A._ (pour la nue-propriété).
B.b. Ces derniers ont signé, le 10 juin 2014 devant Me E._, notaire à V._, un acte de dévolution, de transfert successoral et de constitution d'un droit d'usufruit (ce dernier en faveur de B._, la propriété revenant à A._), portant sur l'unité d'étage no 54383 (appartement no 227 et cave no 17 de l'immeuble yyy, sis sur la commune de W._) et la part de copropriété d'un huitième de l'unité d'étage no 54378 (place de parc no 2 au sous-sol du même immeuble), qui faisaient partie du patrimoine de D._.
A._ a ensuite cédé ces immeubles à sa mère, qui est inscrite en qualité de propriétaire depuis le 10 juillet 2017.
C.
C.a. Dans l'intervalle, C._, qui allègue être le fils d'un cousin du défunt (lien de parenté contesté par ses adverses parties, pour lesquelles il serait le fils d'amis du défunt), avait découvert et déposé auprès de la Justice de paix d'Athènes deux testaments de D._ : l'un du 17 avril 2003, enregistré le 13 mai 2015, l'autre du 25 novembre 2003, enregistré le 18 juin 2015. Dans ce second testament, le de cujus instituait C._ héritier de tous les biens qu'il n'attribuait pas expressément, dans ce même testament, à son fils et à son épouse (le précédent testament ne concernant que la somme qui se trouverait au moment de son décès sur le compte no 1 auprès de la " Banque G._ ").
Par courrier du 10 juillet 2015, C._ a informé A._ et B._ de l'existence des testaments et les a priés de lui restituer les biens immobiliers sis sur la commune de W._, notamment.
C.b. Le 25 novembre 2015, à la demande de C._, la Justice de paix d'Athènes lui a délivré un certificat attestant qu'il était, par testament, héritier de " 100% de l'ensemble des biens mobiliers et immobiliers ", en Grèce ou à l'étranger, de D._, à l'exclusion de ceux formellement mentionnés dans le testament du 25 novembre 2003, ainsi que de " 100% " de toute somme trouvée au jour de son décès dans le compte bancaire sous no 1 de la Banque " avec le nom G._ ". Les biens immobiliers, situés sur la commune de W._, ne font pas partie de ceux expressément mentionnés dans le testament du 25 novembre 2003.
C.c. Le 30 mai 2016, A._ et B._ ont déposé devant le Tribunal de Grande instance d'Athènes une action tendant à faire reconnaître la nullité des testaments, en invoquant l'incapacité du testateur. Ils ont soutenu, en substance, que leur père et mari, qui avait quitté le domicile familial en 2000, était tombé malade et qu'il avait été manipulé par C._, lequel voulait profiter de sa fortune.
Statuant le 27 mars 2017, l'autorité saisie a rejeté l'action, estimant que D._ ne présentait pas de trouble émotionnel ou mental l'empêchant de tester valablement. Dans son jugement, elle a notamment considéré que l'intéressé possédait, en sus de la nationalité belge acquise par mariage, la nationalité grecque, et que le droit grec était dès lors applicable.
Le 19 septembre 2017, A._ et B._ ont appelé de ce jugement.
C.d. De son côté, C._ avait, le 29 décembre 2015, saisi ce même tribunal d'une action tendant notamment à ce que les défendeurs soient condamnés à lui remettre les éléments de la succession lui revenant selon les testaments des 17 avril et 25 novembre 2003 (" action en pétition du droit d'hérédité ", selon le droit grec), de même que les profits qu'il aurait perçus de ces biens ou aurait pu percevoir. Il a également requis que des actes notariés, notamment celui instrumenté par Me E._, soient annulés, ou modifiés, et que les certificats d'hérédité délivrés les 5 mai et 23 septembre 2014 soient rendus caducs.
Le 29 mai 2017, l'autorité saisie a déclaré irrecevables les conclusions relatives aux actes notariés et certificats d'hérédité (estimant qu'il ne lui appartenait pas d'en connaître) et suspendu la cause jusqu'à la clôture, par jugement définitif, de la procédure portant sur la nullité des testaments introduite par A._ et B._.
D.
D.a. Par requête du 10 avril 2017 adressée à la Juge de commune de W._ (ci-après la Juge de commune), C._ a sollicité l'administration d'office, dans le cadre de la succession de feu D._, de l'unité d'étage no 54383 et de la part de copropriété d'un huitième de l'unité d'étage no 54378, ainsi que la nomination de Me F._en qualité d'administrateur d'office. Il a fait valoir que, compte tenu du conflit entre les parties et de l'absence d'attachement des intéressés à l'appartement de X._, il existait un risque important que ceux-ci vendent le bien avant qu'une décision ne soit rendue en Grèce et exécutée en Suisse, qu'ils ne l'entretiennent pas et qu'ils ne paient pas les frais y relatifs ou qu'ils le louent à leur seul profit.
Par ordonnance du 4 mai 2017, la Juge de commune a fait droit à la requête et a désigné Me F._ en qualité d'administrateur d'office, l'informant que sa désignation faisait suite aux actions en pétition d'hérédité et en annulation de testaments actuellement pendantes en Grèce dans le cadre de la succession de feu D._.
Le 7 juin 2017, la Juge de commune a refusé d'annuler sa décision.
D.b. Statuant le 27 novembre 2017 sur appel de A._ et B._, le Juge unique de la Cour civile II du Tribunal cantonal du canton du Valais a renvoyé la cause à la Juge de commune pour décision formelle dans le sens des considérants.
D.c. Par prononcé du 13 juin 2018, la Juge de commune a ordonné l'administration d'office de la succession de feu D._ " pour ce qui concerne la PPE No 54383 et d'une quote-part d'1/8ème de la PPE No 54378, parcelle de base No 912 de W._ et de confirmer Me F._ en qualité d'administrateur d'office ". Elle a en outre décidé que, dans le cadre de son mandat, l'administrateur pourrait notamment procéder à tous les actes administratifs et conservatoires nécessaires, à la gestion, l'administration courante et les investigations diverses, à l'encaissement des revenus et au paiement des factures, qu'il pourrait donc notamment procéder à toutes démarches et requérir toutes informations auprès d'entreprises privées ou publiques, relatives aux immeubles précités (Swisscom, banques, assurances, Service des contributions, offices des poursuites et faillites, cadastres, Registre foncier, contrôle des habitants, administrateur de PPE, etc.), et qu'il pourrait entreprendre toute démarche nécessaire pour mettre en location les immeubles précités, les frais y relatifs, notamment l'ameublement, étant à la charge de la succession de feu D._. Elle a encore fixé le tarif horaire de l'administrateur d'office et arrêté les frais de la procédure qu'elle a mis à la charge de la succession, respectivement de la succession par l'administrateur d'office.
D.d. Statuant le 6 juin 2019, le Juge unique de la Cour civile II du Tribunal cantonal du canton du Valais a rejeté l'appel de A._ et de B._ et confirmé cette décision, sous suite de frais et dépens à la charge solidaire des appelants.
E.
Par écriture du 8 juillet 2019, A._ et B._ exercent un recours en matière civile au Tribunal fédéral. Ils concluent, principalement, à la réforme du jugement cantonal, en ce sens que la mesure d'administration d'office de la succession de feu D._ prononcée par la Juge de commune le 13 juin 2018 est annulée et, subsidiairement, au renvoi pour nouvelle décision dans le sens des considérants, les frais et dépens de la procédure cantonale et de la procédure fédérale, " y compris une équitable indemnité valant participation aux honoraires d'avocat ", étant mis à la charge de C._.
Il n'a pas été demandé de réponses.
F.
Le 27 mai 2021, Me Fuad Ahmed et Me Edouard Faillot, avocats à Y._, ont informé la Cour de céans qu'ils représentaient désormais C._. Par lettre du même jour, Me Matthieu Sartoretti a déclaré ne plus être mandaté pour la défense des intérêts du prénommé et " cesser d'occuper avec effet immédiat ".

Considérant en droit :
1.
Le jugement attaqué, qui confirme la décision de la Juge de commune d'ordonner l'administration d'office d'une succession (<ref-law>) en application de l'<ref-law>, est une décision finale (<ref-law>; cf. arrêt 5A_841/2013 du 18 février 2014 consid. 1.1) qui tranche une cause civile (<ref-law>) relevant de la juridiction gracieuse (arrêts 5A_171/2010 du 19 avril 2010 consid. 1; 5P.112/2002 du 16 juillet 2002 consid. 1.1; 5P.171/2001 du 19 mars 2002 consid. 2a; 5P.400/1999 du 25 mai 2000 consid. 5). Dans les causes pécuniaires - ce qui est le cas en l'occurrence (cf. arrêt 5A_184/2012 du 6 juillet 2012 consid. 1.3 et les références) -, le recours en matière civile n'est en principe recevable que si la valeur litigieuse atteint 30'000 fr. au moins (<ref-law>). Ainsi que le constate l'autorité cantonale, cette valeur est amplement atteinte en l'espèce. Le recours a par ailleurs été interjeté en temps utile (<ref-law>) contre une décision rendue sur recours par une autorité cantonale de dernière instance (<ref-law>) par les recourants qui ont succombé dans leurs conclusions devant l'instance précédente (<ref-law>).
2.
2.1. La décision qui ordonne l'administration d'office d'une succession porte sur des mesures provisionnelles au sens de l'<ref-law> (cf. <ref-ruling> consid. 2; arrêts 5A_599/2016 du 21 novembre 2016 consid. 2; 5A_257/2009 du 26 novembre 2009 consid. 1.4, et la jurisprudence citée dans ces arrêts), de telle sorte que la partie recourante ne peut se plaindre que d'une violation de ses droits constitutionnels. Que la compétence de l'autorité ayant statué soit également litigieuse au regard du droit international privé - en l'occurrence de l'<ref-law> - est sans incidence sur la cognition avec laquelle le Tribunal fédéral examine le recours, les règles de compétence n'échappant pas à l'<ref-law> (arrêts 5A_171/2010 du 19 avril 2010 consid. 2.1; 5A_95/2008 du 20 août 2008 consid. 1.4; 5A_552/2008 du 27 janvier 2009 consid. 2).
2.2. Le Tribunal fédéral n'examine les griefs de violation des droits constitutionnels que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1). Le recourant ne peut donc se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 et la référence).
Une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 2).
3.
Les recourants se plaignent d'abord d'une " application arbitraire de l'<ref-law> ".
3.1. Dans la mesure où ils soutiennent en substance que le Juge unique a confirmé de façon insoutenable et choquante l'administration d'office de biens immobiliers qui étaient " sortis de la masse successorale " et ne faisaient plus " partie de la propriété en mains communes des héritiers ", leur critique se recoupe avec le grief tiré de la violation arbitraire de l'<ref-law> et sera examinée ci-après (infra, consid. 4).
3.2. Les recourants prétendent par ailleurs que, le caractère tardif de la requête tendant à l'administration d'office de la succession étant admis, l'autorité cantonale ne pouvait plus retenir sans arbitraire que les autorités suisses étaient compétentes en vertu de l'<ref-law> pour ordonner la mesure sollicitée. Ils affirment que " la condition de l'urgence [...] correspond à l'essence même d'un prononcé de mesures provisionnelles ".
3.2.1. Se référant à l'arrêt non publié 5A_892/2011 du 21 juin 2012 consid. 5.1.1 et faisant sien l'avis d'une partie de la doctrine (SCHNYDER-LIATOWITSCH, Commentaire bâlois, 2013, no 3 ad <ref-law>; KÜNZLE, Commentaire zurichois, 2018, no 10 ad <ref-law>; KARRER/ VOGT/LEU, Commentaire bâlois, no 17 ad rem. prélim. aux art. 551-559 CC; MEIER/REYMOND-ENIAVEA, Commentaire romand, 2016, no 30 ad <ref-law>; BÜRGI, Internationales Erbrecht, Schweiz, 2017, p. 140, no 656), le Juge unique a considéré que l'administration d'office de la succession tombe sous le coup de l'<ref-law> puisqu'elle vise un but de gestion conservatoire du patrimoine du défunt dans son état et sa valeur, but qui conditionne et limite d'ailleurs les pouvoirs de l'administrateur d'office auquel il appartient seulement de rendre la masse successorale sans perte de substance et dans l'état le meilleur possible aux ayants droits à la fin de son mandat.
Cela étant, il a jugé que, si l'administration d'office de la succession avait été sollicitée tardivement dans la présente cause, cette circonstance ne privait pas la mesure sollicitée de son caractère conservatoire. Le cas d'espèce était à distinguer de celui traité dans l'arrêt 5A_892/2011 cité par les recourants, dès lors que la mesure requise tendait à sauvegarder des biens existant au moment du décès, soit à éviter qu'ils ne disparaissent et à assurer qu'ils soient entretenus et que des revenus en soient retirés, la mission d'un administrateur officiel s'épuisant d'ailleurs dans ce but et limitant ses pouvoirs.
Selon l'autorité cantonale, le fait que les appelants n'aient pas aliéné les biens litigieux à des tiers entre le décès et la date de la requête ne signifiait pas l'absence de risque d'une telle démarche. Alors même que l'administration d'office avait été ordonnée le 4 mai 2017 par la Juge de commune, A._ avait cédé (par donation) la propriété de ces biens à B._, sans en informer l'administrateur officiel ou les autres personnes ou autorités intéressées. Ce manque de transparence laissait craindre que les appelants n'adoptent pas une attitude préservant les intérêts de C._ dans l'attente de la résolution du litige. Le conflit marqué entre les parties - les appelants reprochant à l'appelé d'avoir manipulé leur époux et père et d'avoir profité de son état dans un but d'enrichissement - montrait aussi la nécessité de priver les appelants des pouvoirs dont ils auraient joui en l'absence d'administration d'office. Ces derniers n'avaient pas apporté d'éléments probants sur leur attachement à l'immeuble situé sur la commune de W._. Au demeurant, il ne pouvait être exclu qu'ils s'en accaparent les produits ou n'en perçoivent pas.
Le Juge unique a encore relevé qu'une administration d'office devrait certes être requise et prononcée le plus rapidement possible. Le fait que C._ avait tardé à requérir une telle mesure aurait été susceptible de mettre en danger ses potentiels droits, mais ne pouvait conduire à écarter d'emblée une telle requête.
3.2.2. Les recourants se contentent d'opposer à ces considérations que les mesures provisionnelles au sens de l'<ref-law> ne peuvent avoir qu'une fonction conservatoire, que, selon l'arrêt 5A_892/2011, une mesure sollicitée quinze mois après le décès tend plutôt à assurer la correcte et entière dévolution des biens et qu'en l'espèce, après avoir admis le caractère tardif de la requête y relative, le Juge unique ne pouvait ordonner l'administration d'office, sans violer l'interdiction de l'arbitraire. Ce faisant, ils ne s'en prennent pas, conformément aux exigences (supra, consid. 2.2), aux motifs selon lesquels le fait que l'administration d'office avait été requise tardivement ne privait précisément pas la mesure de son caractère conservatoire et que la présente cause se distinguait du cas jugé dans l'arrêt 5A_892/2011, ni d'ailleurs aux autres éléments de la motivation du Juge unique (notamment le risque d'une aliénation des biens concernés, le manque de transparence, le conflit marqué entre les parties et le défaut d'attachement à l'immeuble des appelants).
4.
Selon les recourants, le Juge unique serait, en bref, tombé dans l'arbitraire en ordonnant l'administration d'office de biens immobiliers qui avaient fait l'objet d'un transfert successoral en date du 10 juin 2014 et, partant, étaient " donc sortis " de la masse successorale lors du dépôt de la requête.
4.1. Sur ce point, l'autorité cantonale a jugé que l'inscription des appelants en qualité de propriétaire et usufruitière était intervenue ensuite d'un acte de dévolution, reposant sur un certificat d'hérédité émis par un notaire belge. Un tel certificat - dont on ne trouvait pas de définition dans le droit belge, mais qui était mentionné dans quelques dispositions, notamment l'article 1240bis du Code civil (traitant de la libération du débiteur du défunt) - ne statuait pas définitivement sur la qualité d'héritier (cf. DELNOY, Les libéralités et les successions, Précis de droit civil, 2013, p. 244), à l'instar du certificat d'héritier délivré en droit suisse. Au demeurant, le caractère reconnaissable du certificat en cause n'était pas évident puisqu'il n'avait pas été établi par le pays du dernier domicile du défunt (cf. <ref-law>) et que, partant, l'immeuble concerné ne pouvait être considéré comme ayant été valablement et définitivement acquis par les appelants. Par ailleurs, vu la nature du bien concerné, il était tout à fait aisé de l'isoler du patrimoine des intéressés.
4.2. Les recourants déclarent " conteste[r] fermement cette motivation insoutenable et choquante à maints égards ". Ils affirment que le Juge unique s'est prononcé " sans aucun fondement, de surcroît alors qu'[il] n'en [était] aucunement compétent, sur la validité ainsi que sur les effets du certificat d'hérédité délivré par un notaire belge ", qu'une telle question ne lui a en effet pas été soumise, qu'il ne lui appartenait dès lors pas " d'interpréter cet acte ", et qu' "en tout état ", " la propriété a été valablement transférée et acquise par M. A._ le 10 juin 2014, puis dans un second temps, par Mme B._ ". Ils précisent par ailleurs, " à toutes fins utiles ", que la référence du Juge unique à l'arrêt 5A_754/2009 ne serait pas pertinente dès lors que, " dans cet arrêt, l'inscription au Registre foncier a été faite ultérieurement au prononcé de l'administration d'office " alors qu'en l'espèce, " le transfert successoral a eu lieu près de trois ans avant le prononcé injustifié de l'administration d'office ". Ce faisant, ils se bornent à réitérer en substance les arguments avancés devant l'instance précédente, tout en laissant intactes les autres considérations du Juge unique fondées sur la doctrine (MEIER/REYMOND-ENIAVEA, op. cit., no 53 ad <ref-law>; BUCHER, op. cit., no 2 ad <ref-law>), selon lesquelles l'administration d'office n'est pas limitée aux biens dont l'administrateur peut immédiatement prendre possession, celui-là devant, le cas échéant, agir contre ceux qui possèdent les biens successoraux sans droit (au possessoire et au pétitoire), et selon lesquelles les mesures au sens de l'<ref-law> peuvent notamment porter sur tous les biens susceptibles d'être l'objet d'une pétition d'hérédité. Appellatoire, leur critique est dès lors irrecevable (supra, consid. 2.2).
5.
Les recourants se plaignent encore de la violation de la garantie de la propriété (art. 26 al. 1 Cst.).
Quoi qu'ils en pensent, ce grief est nouveau et, partant, irrecevable. En vertu des principes de la bonne foi et de l'épuisement des griefs (<ref-law>), le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance, ce qui suppose que les voies de droit cantonales aient été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel (<ref-ruling> consid. 3.3.4; <ref-ruling> consid. 1.1 et les références). Tous les moyens nouveaux sont ainsi exclus dans le recours en matière civile au sens de l'<ref-law>, que ceux-ci relèvent du fait ou du droit, sauf dans les cas où seule la motivation de la décision attaquée donne l'occasion de les soulever (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 2; arrêts 5A_337/2019 du 12 août 2019 consid. 4.3; 5A_904/2018 du 20 février 2019 consid. 1.3), hypothèse qui n'est manifestement pas réalisée en l'espèce.
Au demeurant, l'invocation de ce moyen ne leur serait d'aucun secours. L'application - sinon immédiate, du moins indirecte - des règles constitutionnelles aux relations entre les particuliers n'est pas exclue, s'agissant notamment de l'interprétation des clauses générales et des notions juridiques indéterminées du droit privé. La reconnaissance de cet effet "horizontal" des droits fondamentaux n'empêche cependant pas que les rapports entre particuliers relèvent directement des seules lois civiles et pénales. C'est donc par celles-ci que l'individu est protégé contre les atteintes que d'autres sujets de droit privé pourraient porter à ses droits constitutionnels. Les recourants ne sauraient dès lors se prévaloir directement, dans une cause à caractère international relevant du droit des successions, de la garantie constitutionnelle de la propriété (<ref-ruling> et la jurisprudence citée).
6.
Vu ce qui précède, le recours doit être déclaré irrecevable. Les recourants, qui succombent, supporteront les frais de la procédure, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens à l'intimé qui n'a pas été invité à répondre (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Juge unique de la Cour Civile II et, pour information, à Me Matthieu Sartoretti.
Lausanne, le 10 juin 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Jordan