Faits :
A.
Le 11 octobre 2018, B._ (poursuivant) a requis la mainlevée provisoire de l'opposition formée par A._ (poursuivi) au commandement de payer la somme de 61'143 fr., avec intérêts à 5% l'an dès le 1er mai 2016 (poursuite n° xxxxxx de l'Office des poursuites de la Broye). Le 4 janvier 2019, le Président du Tribunal civil de l'arrondissement de la Broye a prononcé la mainlevée provisoire.
Par arrêt du 22 mars 2019, la IIe Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours interjeté par le poursuivi contre cette décision.
B.
Par acte du 26 avril 2019, A._ exerce un recours en matière civile au Tribunal fédéral. Il conclut à l'annulation de l'arrêt cantonal.
Il n'a pas été demandé d'observations.

Considérant en droit :
1.
1.1. Le recours a été déposé en temps utile (<ref-law>) à l'encontre d'une décision finale (<ref-law>; <ref-ruling> consid. 1.4) rendue en matière de poursuite pour dettes (<ref-law>, en relation avec l'<ref-law>) par une autorité cantonale de dernière instance ayant statué sur recours (art. 75 al. 1 et 2 LTF). La valeur litigieuse atteint le seuil légal (<ref-law>). Le poursuivi, qui a succombé devant l'autorité précédente, a qualité pour recourir (<ref-law>).
1.2. Le recours en matière civile se caractérise comme un recours en réforme (<ref-law>), de sorte que le recourant doit en principe prendre des conclusions sur le fond. A titre exceptionnel, il est admis qu'il puisse se limiter à prendre des conclusions cassatoires lorsque le Tribunal fédéral, s'il accueillait le recours, ne serait pas en mesure de statuer lui-même sur le fond (<ref-ruling> consid. 1.3). Par ailleurs, les conclusions doivent être interprétées selon le principe de la confiance, à la lumière de la motivation du recours (<ref-ruling> consid. 1; <ref-ruling> consid. 2a). En l'espèce, le recourant se limite à conclure à l'annulation de la décision querellée. On comprend toutefois de la motivation de son acte que le recours vise en définitive à ce que l'arrêt cantonal soit réformé, en ce sens que la requête de mainlevée est rejetée.
1.3. Les faits et moyens de preuve nouveaux sont prohibés (<ref-law>); il n'y a exception à cette règle que lorsque c'est la décision de l'autorité précédente qui, pour la première fois, a rendu pertinents ces faits ou moyens de preuve, ce qu'il appartient au recourant de démontrer (<ref-ruling> consid. 3). En outre, les faits et pièces postérieurs à l'arrêt entrepris sont d'emblée irrecevables (<ref-ruling> consid. 3.1.2; <ref-ruling> consid. 2.1). Il s'ensuit que la pièce n° 3 produite par le recourant, datée du 2 avril 2019, est d'emblée irrecevable.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); il ne peut s'en écarter que si ceux-ci ont été établis de façon manifestement inexacte - soit de manière arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 1.5; <ref-ruling> consid. 1.4.1; <ref-ruling> consid. 1.2.2) - ou en violation du droit au sens de l'<ref-law> (<ref-law>) et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte doit satisfaire au principe d'allégation. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.3 et les références).
2.2. Lorsque, comme ici, l'autorité cantonale de dernière instance statue sur recours, conformément au principe de l'<ref-law>, l'épuisement des instances cantonales est une condition de recevabilité du recours en matière civile au Tribunal fédéral. Sous réserve des exceptions énumérées par l'art. 75 al. 2 let. a-c LTF, qui n'entrent pas en ligne de compte en l'espèce, le principe de la double instance s'applique en matière civile (<ref-ruling> consid. 4.1 et les références; <ref-ruling> consid. 1.6; <ref-ruling> consid. 1.1). L'épuisement des instances cantonales selon l'<ref-law> signifie que les voies de droit cantonales doivent avoir été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel. Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés (<ref-ruling> consid. 2.2.4; arrêt 4A_290/2014 du 1er septembre 2014 consid. 3.1), le principe de l'épuisement matériel des instances cantonales veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (<ref-ruling> consid. 1.1 et les références; arrêts 5A_605/2018 du 7 décembre 2018 consid. 5.2; 4A_32/2018 du 11 juillet 2018 consid. 5.2.1-5.2.2).
3.
Le recourant fait valoir la violation des <ref-law> et 53 LP a contrario, ainsi que 59 al. 2 let. b et 60 CPC. Il expose avoir déménagé à U._ le 27 mars 2018, à savoir avant la date à laquelle le commandement de payer a été notifié. En conséquence, l'autorité de première instance, qui devait examiner d'office sa compétence, aurait dû la décliner puisque le for de la poursuite se trouvait désormais dans les Grisons. Il ajoute qu'après une tentative de notification infructueuse du commandement de payer à son ancienne adresse de V._ (canton de Fribourg), l'Office des poursuites de la Broye a délégué la notification à l'office des poursuites de la Région de Viamala, à U._, le 23 août 2018, partant, que les autorités de poursuite n'ignoraient pas son déménagement.
4.
Il ne peut être tenu compte du fait allégué par le recourant et non constaté dans l'arrêt cantonal selon lequel il aurait déménagé dans le canton des Grisons le 27 mars 2018; en effet, le recourant ne fait pas valoir que les faits auraient été établis par l'autorité précédente de manière arbitraire (cf. supra consid. 2.1), et renvoie au demeurant, pour étayer son allégation, à une pièce nouvelle, irrecevable (cf. supra consid. 1.2 in fine). De même, l'ensemble des autres faits que le recourant relate - tels que les circonstances de la notification du commandement de payer - sans soulever de grief d'établissement arbitraire des faits, et qui ne ressortent pas de l'arrêt entrepris, ne peuvent être pris en considération (cf. supra consid. 2.1).
Pour le surplus, hormis qu'ils sont largement fondés sur des faits nouveaux irrecevables, il ne pourrait de toute manière pas être entré en matière sur les moyens de droit présentés par le recourant, puisqu'il ne les a pas soulevés devant l'autorité cantonale (cf. supra consid. 2.2), ce qu'il reconnaît d'ailleurs expressément lorsqu'il explique n'avoir jusqu'ici contesté que sa qualité de débiteur. Enfin, en tant qu'il affirme que, non assisté d'un mandataire professionnel jusqu'ici, il n'a cependant jamais admis tacitement la compétence du Tribunal saisi, son argumentation est dénuée de pertinence à cet égard.
5.
Vu ce qui précède, le recours doit être déclaré irrecevable, aux frais du recourant (<ref-law>). Il n'est pas alloué de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la IIe Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 17 mai 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo