Faits :
A.
A._, ressortissant étranger né en 1949, a travaillé comme fonctionnaire fédéral en Belgique. Ayant pris une retraite anticipée, au titre de laquelle il perçoit une pension versée par le Royaume de Belgique depuis le 1er juillet 2011, il s'est installé en Suisse, à U._, avec son épouse, B._, dès le 1er août suivant.
Assurés contre le risque de maladie auprès de la Mutualité chrétienne Saint-Michel, à V._, les époux ont bénéficié de l'entraide internationale en matière de prestations prévue par les règles de coordination de droit européen, par l'intermédiaire de l'organe de liaison, l'Institution commune LAMal (ci-après: l'institution commune), à Olten.
Au cours d'un contrôle, l'institution commune s'est aperçue que A._ percevait également une rente de vieillesse de l'assurance-vieillesse, survivants et invalidité suisse (AVS). Le 25 mars 2019, elle a rendu une décision par laquelle elle a constaté que B._ et A._ n'avaient plus droit à l'entraide internationale en matière de prestations à partir du 31 mars 2019 et a supprimé l'enregistrement correspondant. En bref, elle a considéré que le fait de bénéficier d'une rente (AVS) de la part du pays de résidence entraînait l'assujettissement à l'assurance-maladie obligatoire suisse. Sur opposition des époux, elle a maintenu ladite suppression (décision sur opposition du 28 novembre 2019).
B.
B._ et A._ ont déféré cette décision au Tribunal administratif fédéral, qui a transmis leur recours au Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales, comme objet de sa compétence. Devant la juridiction cantonale, A._ a fait valoir qu'il avait renoncé à sa rente AVS, qui avait été supprimée avec effet au 31 décembre 2019 par la Caisse de compensation du canton de Fribourg. Dans ses observations du 15 janvier 2021, l'institution commune a reconnu le droit de B._ et A._ à l'entraide internationale en matière de prestations pour le risque de maladie dès le 1er janvier 2020 et a produit une confirmation (du 15 janvier 2021) de l'inscription de A._ à l'entraide dès cette date; elle a en revanche maintenu sa position concernant la période du 1er avril au 31 décembre 2019. Les époux ont maintenu leurs conclusions par écriture du 9 février 2021. Par arrêt du 30 mars 2021, la juridiction cantonale a rejeté le recours et rayé du rôle la requête de restitution de l'effet suspensif.
C. Agissant par la voie du recours en matière de droit public, B._ et A._ demandent au Tribunal fédéral d'annuler l'arrêt cantonal, de constater qu'ils ne sont pas assujettis à l'assurance-maladie obligatoire en Suisse et qu'ils bénéficient toujours de l'entraide internationale en matière de prestations depuis leur arrivée en Suisse, ainsi que d'ordonner "à la CSS de rembourser aux recourants les primes d'assurance-maladie indûment payées entre le 1er avril 2019 et le 31 décembre 2019".

Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (<ref-law>), que le Tribunal fédéral applique d'office (<ref-law>), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précé-dente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le litige porte sur le point de savoir si la juridiction cantonale était en droit de confirmer l'interruption de l'entraide internationale en matière de prestations prononcée par l'intimée à l'égard des recourants entre le 1er avril et le 31 décembre 2019. En tant que ceux-ci demandent que la Cour de céans ordonne "à la CSS" (soit la caisse-maladie CSS Assurance-maladie SA) de rembourser les primes d'assurance-maladie portant sur la période du 1er avril au 31 décembre 2019, ils prennent des conclusions se rapportant à un aspect qui sort du cadre de l'objet du litige, sur lequel l'intimée n'a pas rendu de décision (et n'avait pas à se prononcer). Ces conclusions sont par conséquent irrecevables.
3.
L'arrêt entrepris expose de manière complète les dispositions du droit européen pertinentes pour la résolution du litige, en particulier celles sur l'entraide internationale en matière de prestations, applicables en l'espèce en vertu du renvoi que fait l'Accord entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (RS 0.142.112.681; ci-après: ALCP), à son annexe II (section A ch. 1), au Règlement (CE) n° 883/2004 du Parlement européen et du Conseil du 29 avril 2004 portant sur la coordination des systèmes de sécurité sociale (RS 0.831.109.268.1; ci-après: règlement n° 883/2004) et son règlement d'application, le Règlement (CE) n° 987/2009 du Parlement européen et du Conseil du 16 septembre 2009 fixant les modalités d'application du règlement (CE) n° 883/2004 portant sur la coordination des systèmes de sécurité sociale (RS 0.831.109.268.11; ci-après: règlement n° 987/2009). En plus des art. 1 al. 1 let. w, art. 4, art. 16 par. 2, art. 17, art. 23 et art. 24 du règlement n° 883/2004, en relation avec l'<ref-law>, l'arrêt attaqué mentionne également les normes du droit suisse sur l'obligation de s'assurer en Suisse (<ref-law> et 1 al. 1 OAMal) et l'exception à celle-ci prévue par l'art. 2 al. 1 let. e, al. 7 et 8 OAMal. Il suffit d'y renvoyer.
4.
4.1. Dans un premier moyen, les recourants soutiennent que l'intimée aurait outrepassé son rôle d'organisme de liaison en rendant la décision administrative litigieuse, puisque seule l'institution compétente à leur égard, soit la Mutualité chrétienne Saint-Michel serait habilitée à rendre des décisions selon les règlements européens. Aussi, prononcée par une autorité incompétente, la décision du 25 mars 2019 serait nulle.
4.2. Conformément à l'art. 19 al. 1, 1re et 2e phrases, OAMal (en relation avec l'<ref-law>), l'institution commune remplit notamment les tâches découlant de l'<ref-law> en tant qu'organisme de liaison; elle assume aussi les tâches en tant qu'institution d'entraide au lieu de résidence, ou de séjour, des assurés pour lesquels il existe un droit, fondé sur l'<ref-law>, à une entraide internationale en matière de prestations. Lorsque, comme en l'espèce, une personne domiciliée en Suisse qui est affiliée à une assurance-maladie dans un Etat partie à l'ALCP requiert l'entraide internationale en matière de prestations en Suisse, l'institution commune est compétente pour assurer cette entraide et pour se prononcer sur l'admission du droit correspondant respectivement l'inscription du droit à l'entraide. Même si les dispositions légales en question (cf. <ref-law> ["Institution commune"], <ref-law> ("Exécution des engagements internationaux"), <ref-law> ["Contentieux"]) ne prévoient pas explicitement la compétence de l'institution commune de rendre des décisions à l'égard des personnes requérant des prestations, une telle compétence de décision - correspondant à celle des assureurs-maladie autorisés - doit lui être reconnue (<ref-ruling> consid. 1.2 et les références; cf. aussi l'arrêt 9C_586/2020 du 23 mars 2021 sur une situation semblable où l'institution commune avait décidé d'interrompre l'entraide internationale en matière de prestations).
En conséquence, l'intimée disposait de la compétence pour rendre la décision sur opposition du 28 novembre 2019. Quoi qu'en disent les recourants en se référant à la notion d' "organisme de liaison" prévue par l'art. 1 par. 2 let. b du règlement n° 987/2009, l'intimée n'a pas outrepassé les compétences qui lui sont reconnues en tant qu'organe de liaison au sens du droit européen lorsqu'elle a prononcé la suppression de leur inscription à l'entraide internationale en matière de prestations. En particulier, elle s'est limitée à constater, à titre préjudiciel, que la législation applicable fondait une obligation des recourants de s'affilier à l'assurance-maladie obligatoire suisse, sans que cela ne revienne à les y contraindre; l'affiliation d'office à ladite assurance relève au demeurant de l'autorité désignée par le canton en vertu de l'<ref-law>.
5.
Invoquant ensuite une violation du droit européen, les recourants font valoir une "application déplacée de l'art. 23 [du règlement n° 883/2004]", dans la mesure où l'arrêt attaqué conduit à "réviser l'Etat compétent", alors que la compétence du Royaume de Belgique, admise au moment de leur prise de domicile en Suisse, ne pouvait pas être modifiée.
5.1.
5.1.1. Le titre II du règlement n° 883/2004 (art. 11 à 16) comprend des règles générales de conflit pour déterminer la législation applicable. L'art. 11 par. 1 du règlement n° 883/2004 pose le principe de l'unicité du droit applicable, selon lequel les personnes auxquelles le règlement est applicable ne sont soumises qu'à la législation d'un seul Etat membre. Les personnes qui, comme les recourants, n'exercent pas d'activité lucrative salariée ou non salariée (ou ne réalisent pas les autres éventualités prévues par l'art. 11 par. 1 let. b à d du règlement), sont soumises à la législation du lieu de résidence (art. 11 par. 1 let. e du règlement n° 883/2004). Les règles de caractère général qui figurent sous le titre II du règlement n° 883/2004 ne s'appliquent cependant que dans la mesure où les dispositions particulières aux différentes catégories de prestations qui constituent le titre III dudit règlement ("Dispositions particulières applicables aux différentes catégories de prestations" [art. 17 à 70]) n'y apportent pas une dérogation (<ref-ruling> consid. 3.1; <ref-ruling> consid. 6.3.2.1 et les références).
5.1.2. Le titre III du règlement n° 883/2004 contient des règles de conflit pour des situations spéciales dans des branches particulières du système de la sécurité sociale, singulièrement, au chapitre 1 (art. 17 à 35) en ce qui concerne les prestations de maladie, de maternité et de paternité assimilées. La nature de règle de conflit ne découle pas toujours directement de la lettre de la disposition. A la différence du titre II, il s'agit de dispositions ponctuelles concernant une branche particulière de la sécurité sociale ou un domaine particulier du droit (<ref-ruling> consid. 4.2.2.1; <ref-ruling> consid. 3.2. et les références).
L'application des règles de conflit du règlement n° 883/2004, qui déterminent la législation applicable, est obligatoire pour les Etats membres. Elles forment un système de règles de conflit dont le caractère complet a pour effet de soustraire aux législateurs nationaux le pouvoir de déterminer l'étendue et les conditions d'application de leur législation nationale en la matière, quant aux personnes qui y sont soumises et quant au territoire à l'intérieur duquel les dispositions nationales produisent leurs effets (<ref-ruling> consid. 3.2; <ref-ruling> consid. 4.2.3.1; <ref-ruling> consid. 4.2.3.1 et les références).
5.1.3. Aux art. 23 ss, le règlement n° 883/2004 prévoit des règles de coordination de droit communautaire dans le sens décrit ci-avant en ce qui concerne le droit aux prestations en nature en cas de maladie des titulaires de pension et des membres de leur famille (<ref-ruling> consid. 4.2.2.2); pour les rentiers, elles définissent aussi à titre préjudiciel les règles applicables concernant l'obligation d'assurance (GEBHARD EUGSTER, in Soziale Sicherheit, SBVR vol. XIV, 3e éd. 2016, p. 443 s. n° 116; cf. <ref-ruling> consid. 3.3.2).
Selon l'art. 23 du règlement, la personne qui perçoit une pension ou des pensions en vertu de la législation de deux ou plusieurs Etats membres, dont l'un est l'Etat de résidence, et qui a droit aux prestations en nature en vertu de la législation de cet Etat membre, bénéficie, tout comme les membres de sa famille, de ces prestations en nature servies par et pour le compte de l'institution du lieu de résidence, comme si l'intéressé n'avait droit à la pension qu'en vertu de la législation de cet Etat membre. L'art. 24 du règlement n° 883/2004 règle la situation dans laquelle les titulaires de la pension n'ont pas de droit originaire à des prestations en nature en cas de maladie dans l'Etat de résidence, faute d'un rapport suffisant avec le système des rentes de l'Etat de résidence. Lorsqu'une seule rente est perçue, la charge des prestations en cas de maladie incombe à l'institution compétente de l'Etat qui alloue la rente. Les rentiers ont alors un droit à l'entraide visant à faciliter l'accès aux soins et aux prestations en nature à l'encontre de l'institution de l'Etat de résidence (<ref-ruling> consid. 4.2.2.2 et la référence).
Comme l'a retenu à juste titre la juridiction cantonale, il résulte de l'articulation des art. 23 et 24 du règlement n° 883/2004 que le droit européen établit une distinction au sein des personnes au bénéfice de pensions, selon qu'elles disposent ou non d'un droit originaire à des prestations en nature en cas de maladie dans l'Etat de résidence, lequel dépend lui-même de l'existence d'un rapport suffisant avec le système des pensions de cet Etat. Le législateur suisse a précisément pris en compte cette différence en édictant l'art. 2 al. 1 let. e OAMal, selon lequel est exceptée de l'obligation de s'assurer notamment la personne qui n'a pas droit à une rente suisse, mais à une rente d'un Etat membre de l'Union européenne.
5.2. A la suite des premiers juges, on constate que l'octroi de la rente AVS au recourant, déjà titulaire d'une rente d'un Etat de l'Union européenne, a entraîné un rattachement au système des rentes de l'Etat de résidence (la Suisse), dont découlent l'obligation de s'assurer dans ce pays contre le risque de maladie ainsi que l'exclusion de l'entraide internationale en matière de prestations. A cet égard, l'inscription à l'entraide internationale en matière de prestations en nature suppose que soit présentée une attestation des droits à ces prestations délivrée par l'institution compétente (art. 24 par. 1 du règlement n° 987/2009). Une telle attestation vaut en principe jusqu'à ce que l'institution compétente informe l'institution du lieu de résidence de son annulation (art. 24 par. 2 du règlement n° 987/2009; sur ces dispositions, voir arrêt 9C_586/2020 du 23 mars 2021 consid. 5.1.1). En l'occurrence, une telle information a été transmise à l'intimée par la Mutualité chrétienne Saint-Michel (formulaire E 108, daté du 7 mars 2019), qui a attesté de la suspension/interruption du droit aux prestations à partir du 1er avril 2019 (avant d'informer les recourants de la clôture de leurs dossiers auprès d'elle au 31 mars 2019 [courrier du 5 septembre 2019). En conséquence, l'intimée était en droit de supprimer l'inscription des recourants au droit à l'entraide internationale en matière de prestations. Le grief de la violation de l'art. 23 du règlement n° 883/2004 est mal fondé. Par ailleurs, les démarches effectuées par l'intimée auprès de l'institution de l'Etat membre compétent jusqu'alors n'avaient pas mis en évidence de difficultés d'interprétation ou d'application de cette disposition du règlement. Les autorités concernées n'avaient dès lors pas à saisir la commission administrative au sens de l'art. 76 par. 6 du règlement n° 883/2004, que les recourants invoquent en vain.
La référence que font ensuite les recourants aux considérants 15 et 16 du préambule du règlement n° 883/2004 ne leur est d'aucun secours. Ces considérants n'ont en effet pas la portée qu'ils entendent leur donner, lorsqu'ils en déduisent le caractère immuable de la désignation de l'Etat compétent. L'octroi de la rente AVS correspond à une modification des circonstances qui entraîne des effets juridiques au regard de l'art. 23 du règlement n° 883/2004 quant à la compétence de l'Etat de résidence. Ces conséquences, respectivement la règle de conflit ne peuvent précisément pas être modifiées par l'assimilation de faits survenus dans un autre Etat, comme le rappelle le considérant 11 du préambule (cf. ROLF SCHULER, in Europäisches Sozialrecht, 7e éd. 2018, n° 1 ad art. 5 du règlement n° 883/2004), dont les recourants font une interprétation erronée. Quant au considérant 16 du préambule, il rappelle le principe selon lequel les droits en matière de sécurité sociale ne devraient pas dépendre du lieu de résidence de l'intéressé (cf. aussi l'art. 7 du règlement n° 883/2004), qui n'est pas pertinent en l'occurrence.
5.3. Dans le même contexte, c'est en vain que les recourants reprochent à la juridiction cantonale et à l'intimée d'avoir opéré une confusion entre "rente" et "pension", ainsi qu'une "traduction fautive d[e ces] vocables", pour en déduire respectivement une violation du devoir de coopération prévu par l'art. 76 du règlement n° 883/2004 et un mélange entre deux systèmes de rente (fondés sur les rapports de travail, d'une part, et le domicile, d'autre part).
Pour définir le terme "pension", le droit européen utilise celui de "rente": selon l'art. 1 let. w du règlement n° 883/2004, le terme "pension" comprend également les rentes. La désignation de la prestation en cause par le mot "pension" ou "rente" ne joue dès lors aucun rôle. L'utilisation du terme "pension" par l'intimée pour désigner la rente AVS ne prêtait donc pas à confusion. De plus, à l'inverse de ce que prétendent les recourants, la notion de "pension" respectivement de "rente" ne se rapporte pas au fondement même de l'assurance (en fonction de rapports de travail ou de la résidence de la personne concernée). Leur argumentation n'est pas pertinente.
6.
En ce qui concerne le grief de la violation de l'interdiction de la double cotisation, en relation avec l'art. 11 du règlement n° 883/2004, que les recourants soulèvent pour les mois d'avril à décembre 2019, il n'est pas susceptible de remettre en cause le principe de la suppression de l'entraide en matière de prestations pour cette période. Avec les premiers juges, on constate en effet que l'assureur-maladie belge a admis que les recourants n'avaient plus le droit à l'entraide internationale en matière de prestations en raison de leur soumission à l'assurance-maladie suisse, ce qui implique la fin de leur affiliation en Belgique (consid. 5.2 supra). Il appartient dès lors aux recourants de s'adresser à l'assurance belge pour régler les effets de la modification de l'affiliation sur la créance de cotisations. Quant à l'argumentation de "l'application déplacée" de l'art. 23 du règlement n° 883/2004 dans ce contexte, on rappellera qu'il s'agit d'une disposition particulière relative aux prestations de maladie, dont l'application est expressément réservée par l'art. 11 par. 3 let. e du règlement n° 883/2004.
7.
7.1. Les recourants se plaignent encore d'un déni de justice, d'un retard et d'une violation de l'art. 3 par. 4 du règlement n° 987/2009 (sur l'obligation de transmission des informations "sans tarder et, en tout état de cause, dans les délais fixés par la législation de l'Etat compétent"), ainsi que d'une violation de l'art. 6 de la loi fédérale sur le principe de la transparence dans l'administration.
7.2. Les recourants se limitent à affirmer qu'un retard de cinq mois dans le traitement d'une réponse de la part de l'intimée serait incompatible avec l'exigence d'agir "dans les meilleurs délais". Cette affirmation ne suffit pas à remettre en cause les considérations convaincantes de la juridiction cantonale sur la notion de retard inadmissible à statuer, auxquelles il n'y a rien à ajouter (consid. 3.5.5 de l'arrêt entrepris). On précisera que l'art. 3 par. 4 du règlement n° 987/2009 renvoie aux délais déterminés par la législation de l'Etat membre concerné.
Si les recourants se plaignent ensuite de n'avoir pas reçu une réponse à chacun de leur envoi à l'intimée, ils n'indiquent pas concrètement en quoi les différentes lettres recommandées énumérées appelaient une réaction de l'intimée préalablement au prononcé de la décision sur opposition. Ils ne soutiennent au demeurant pas qu'ils n'auraient pas eu accès au dossier constitué par l'intimée, tel que déposé en instance cantonale. Quant à l'art. 6 de la loi fédérale du 17 décembre 2004 sur le principe de la transparence de l'administration (LTrans; RS 152.3), il n'est pas applicable en l'espèce, conformément à l'art. 3 al. 1 let. a ch. 5 et let. b LTrans, selon lequel la LTrans ne s'applique pas à l'accès aux documents officiels concernant les procédures juridictionnelles de droit public, y compris administratives, ni à la consultation du dossier par une partie dans une procédure administrative de première instance.
Le grief tiré d'un déni de justice en relation avec la demande d'effet suspensif présentée à l'intimée en juin 2019 n'est pas davantage fondé. Dans la décision sur opposition du 28 novembre 2019, l'intimée ne s'est pas prononcée expressément sur la demande d'effet suspensif; elle a sans doute considéré que cette requête était devenue sans objet du moment qu'elle rendait une décision sur le fond. Dans la mesure où tel était effectivement le cas, on ne saurait lui reprocher une absence de réponse constitutive d'un déni de justice.
8.
Le grief de la violation du principe de la proportionnalité également soulevé par les recourants en relation avec le considérant 12 du préambule du règlement n° 883/2004 est mal fondé. Selon eux, une telle violation résulte de l'absence de rapport raisonnable entre l'intérêt public visé et l'atteinte à leur situation financière, causée par la disproportion entre le montant de la rente AVS qui s'élèverait à 55 fr. et les primes de l'assurance-maladie suisse qui correspondraient à 746 fr. 80 par mois. Or avec les premiers juges, il convient de relever que la disproportion invoquée ne constitue pas un critère déterminant dont il y aurait lieu de tenir compte selon les dispositions de droit européen et de droit suisse pertinentes. Pour l'application de l'art. 23 du règlement n° 883/2004, ni le montant des rentes perçues ni celui des cotisations d'assurance ne sont déterminants: l'affiliation au système de l'assurance-maladie de l'un ou de l'autre Etat dépend de la perception d'une pension (ou d'une rente) dans l'Etat de résidence (consid. 5.1 supra). Compte tenu des conditions légales prévues, il n'y a pas place pour l'application de mesures moins rigoureuses dans le sens où l'entendent les recourants (maintien de l'affiliation au système de l'assurance-maladie belge). On ne saurait par ailleurs qualifier d' "exigences infondées" les conditions prévues par le droit européen, comme le font à tort les recourants en se plaignant du lien entre le droit à la sécurité sociale (d'un membre de famille) et la perception de rente, sans qu'ils n'en déduisent une violation du droit sur laquelle il y aurait lieu de se prononcer.
9.
Les recourants font enfin valoir que l'intimée aurait manqué de leur transmettre une information importante relative à la possibilité, prévue par l'art. 16 (par. 2) du règlement n° 883/2004, de demander leur exemption de l'application de la législation de l'Etat de résidence. S'ils expriment ainsi leur regret "de ne pas avoir activé la clause prévue" par cette disposition, ils n'en déduisent cependant pas de conséquence concrète quant à l'issue du litige. En particulier, ils n'exposent pas, ni ne démontrent partant, en quoi les conditions dans lesquelles un défaut de renseignement peut obliger une autorité à consentir à un administré un avantage auquel il n'aurait pu prétendre, en vertu du principe de la protection de la bonne foi découlant de l'art. 9 Cst. (<ref-ruling> consid. 5), seraient réalisées. En tout état de cause, dans la mesure où le grief se rapporte à la question d'une éventuelle exemption de l'obligation de s'assurer à l'assurance obligatoire des soins suisse, on peut renvoyer aux considérations de la juridiction cantonale quant à l'autorité compétente pour traiter d'une demande d'exemption (consid. 3.3 de l'arrêt entrepris).
10.
En conclusion de ce qui précède, le recours est mal fondé en tous points, dans la mesure où il est recevable.
11.
Vu l'issue de la procédure, les frais de justice sont mis à la charge des recourants (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, II e Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 24 janvier 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Cretton