Faits:
A. Par arrêt du 5 février 2008, rectifié par arrêts des 13 mai et 2 septembre 2008, la Cour d'appel de Chambéry (France) a notamment ordonné aux époux Dame X._ et X._ de supprimer, dans le délai d'un mois dès la signification de l'arrêt du 13 mai 2008, les ouvrages qu'ils avaient réalisés par empiètement sur la parcelle no xxxx, propriété de Y._. Elle a autorisé ce dernier, en cas d'inexécution, à procéder lui-même à la suppression ordonnée, aux frais et risques des époux X._, qu'elle a en outre condamnés à payer la somme de 3'000 euros à titre de dommages-intérêts.
B. Les époux X._ n'ont pas exécuté ces arrêts.
Y._ a introduit à deux reprises des poursuites pour obtenir le paiement des frais d'enlèvement des ouvrages, lesquelles n'ont toutefois pas abouti. Dans l'une, la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg a, le 9 décembre 2010, rejeté la requête de mainlevée définitive, pour le motif que la cause de l'obligation n'était pas assez clairement désignée dans les commandements de payer en cause. Dans l'autre, par décision du 4 juillet 2011, le Président du Tribunal civil de la Veveyse a également refusé la mainlevée, considérant que Y._, qui n'avait produit qu'un devis, n'avait pas établi s'être acquitté de frais en relation avec l'enlèvement des ouvrages et, partant, n'avait pas démontré l'existence de sa créance envers le poursuivi.
C. Le 24 août 2011, poursuivant une nouvelle fois le prénommé en exécution des arrêts susmentionnés de la Cour d'appel de Chambéry, Y._ a fait notifier à X._ un commandement de payer (poursuite no xxxxxx) la somme de 3'692 fr. 35, avec intérêts à 5% dès le 6 février 2009. Le poursuivi a fait opposition totale.
Par décision du 3 janvier 2012, le Président du Tribunal civil de la Veveyse a prononcé la mainlevée définitive de l'opposition et mis les frais et dépens à la charge de X._.
Statuant le 28 mars 2012, la IIe Cour d'appel civil du Tribunal cantonal fribourgeois a confirmé ce jugement, sous suite de frais et dépens.
D. Par écriture du 2 mai 2012, X._ forme un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut, sous suite de frais et dépens, au rejet de la requête de mainlevée et au renvoi de la cause pour décision sur les frais et dépens des procédures cantonales.
L'intimé propose le rejet du recours. L'autorité cantonale n'a pas formulé d'observations.
E. Par ordonnance du 3 mai 2012, la demande d'effet suspensif a été rejetée.

Considérant en droit:
1. 1.1 Le prononcé de mainlevée (définitive ou provisoire) de l'opposition peut faire l'objet d'un recours en matière civile (<ref-law>) lorsque la valeur litigieuse s'élève au moins à 30'000 fr. (<ref-law>; <ref-ruling> consid. 1.3 p. 399/400) ou, exceptionnellement et pour autant que cela soit démontré (<ref-law>; cf. <ref-ruling> consid. 2.2.2.1 p. 442), lorsque la contestation soulève une question juridique de principe (<ref-law>). Lorsqu'aucune de ces conditions n'est remplie, le prononcé de mainlevée doit être attaqué, ainsi que l'a fait le recourant, par la voie du recours constitutionnel subsidiaire (<ref-law>).
1.2 Le présent recours a été interjeté - compte tenu des féries de Pâques (<ref-law>) - dans le délai légal (art. 100 al. 1 et 117 LTF) à l'encontre d'un prononcé rendu par une autorité cantonale de dernière instance statuant sur recours (art. 75 et 114 LTF). Le recourant qui a succombé dans ses conclusions tendant à la levée de l'opposition, a un intérêt juridique à l'annulation ou à la modification de la décision (<ref-law>).
1.3 Lorsqu'il admet un recours constitutionnel, le Tribunal fédéral peut statuer lui-même sur le fond (<ref-law> par renvoi de l'<ref-law>) et donc prononcer la mainlevée de l'opposition, s'il dispose de tous les faits nécessaires; en effet, à l'instar du recours en matière civile, le recours constitutionnel est une voie de recours réformatoire. Les conclusions du recourant tendant à ce que l'opposition soit définitivement levée sont ainsi en principe recevables.
2. S'agissant d'un recours formé pour violation des droits constitutionnels (<ref-law>), la partie recourante doit indiquer précisément quel droit constitutionnel aurait été violé et montrer, par une argumentation circonstanciée, en quoi consiste la violation alléguée (art. 106 al. 2 et 117 LTF; <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 2.2 p. 246). Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été retenus en violation d'un droit constitutionnel (art. 118 al. 2 et 116 LTF), ce que le recourant doit invoquer avec précision (<ref-law> applicable par le renvoi de l'<ref-law>). Aucun fait nouveau ou preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée (art. 99 al. 1 et 117 LTF).
3. Le recourant prétend en substance que l'autorité cantonale est tombée dans l'arbitraire en considérant que les jugements français des 13 mai et 2 septembre 2008 valent titre de mainlevée définitive, alors même que leurs dispositifs ne mentionnent pas en quoi consistent les ouvrages dont la suppression a été ordonnée ni ne prévoient le montant de la réparation de l'exécution par substitution.
3.1 Saisi d'une requête de mainlevée définitive, le juge doit notamment vérifier si la créance en poursuite résulte du jugement produit. Il n'a cependant pas à se déterminer sur son existence matérielle ni sur le bien-fondé du jugement la constatant. Si celui-là est peu clair ou incomplet, il appartient au juge du fond de le préciser ou de le compléter (cf. <ref-ruling> consid. 4.2.3 p. 626 s.; <ref-ruling> consid. 2.3 p. 318 s.; <ref-ruling> consid. 5.3.2 p. 660 et les arrêts cités). Cette limitation du pouvoir d'examen ne signifie cependant pas que le juge de la mainlevée doive se fonder exclusivement sur le dispositif du jugement. Il peut aussi se référer aux considérants du jugement lorsqu'il s'agit de déterminer si celui-ci doit valoir titre de mainlevée définitive au sens de l'<ref-law> (ATF <ref-ruling> consid. 5.3.2 p. 660 et les références).
Le Tribunal fédéral a par ailleurs jugé à plusieurs reprises qu'il n'est pas arbitraire de prononcer la mainlevée définitive lorsque le jugement produit se contente de retenir qu'une prestation est due sans préciser la quotité de la dette et que celle-ci est déterminable par rapprochement d'autres pièces du dossier propres à établir avec exactitude le montant dû (ATF <ref-ruling> consid. 2.3 p. 318 s.; arrêt 5P. 364/2002 du 16 décembre 2002 consid. 2.1.1; arrêt 5P. 138/1998 du 29 octobre 1998 consid. 3a; voir aussi: en matière d'allocations familiales: arrêt 5P. 332/1996 du 13 novembre 1996 et PANCHAUX/CAPREZ, Die Rechtsöffnung - La mainlevée d'opposition, 1980, § 108, ch. 6 et 7; en matière d'indexation de contributions d'entretien: <ref-ruling>; en matière d'obligation de faire ordonnée avec menace d'exécution d'une obligation par équivalent: arrêt 5P. 138/1998 du 29 octobre 1998 consid. 3a et l'arrêt cité).
3.2 Au vu de ce qui précède, c'est sans arbitraire que l'autorité cantonale ne s'est pas limitée aux seuls dispositifs des jugements produits, mais s'est aussi référée à d'autres pièces, pour déterminer si la créance en poursuite est celle résultant de ces titres.
A cet égard, il ressort des dispositifs que le recourant et son épouse ont été condamnés à supprimer " les ouvrages " qu'ils avaient réalisés par empiètement sur la parcelle de l'intimé et que celui-ci pourrait, en cas d'inexécution, procéder lui-même à la suppression ordonnée, aux frais et risques des prénommés. Il n'est pas contesté que les époux ne se sont pas exécutés. L'intimé a par ailleurs produit une facture datée du 3 février 2009 d'un montant total de 13'600 euros, dont 3'200 euros, soit 3'692 fr. 35 suisses après conversion, concernent la " coupe totale " d'une haie, la copie d'un chèque de 13'600 euros établi le 6 février 2009 en faveur de l'entreprise mandatée et un courrier du 14 décembre 2011 par lequel l'entrepreneur atteste avoir reçu cette somme de l'intimé. Il a aussi produit deux lettres de ses mandataires français. L'une atteste que la condamnation à supprimer les ouvrages réalisés sur la parcelle du créancier poursuivant vise une haie (bordereau Y._ du 24 octobre 2011, pièce 15). L'autre, datée du 3 mars 2009, invite le recourant à procéder à la suppression d'une haie conformément à l'injonction prononcée et le rend attentif au coût d'un enlèvement par un tiers (bordereau Y._ du 24 octobre 2011, pièce 6). Il ressort en outre de l'arrêt entrepris que le remboursement des frais d'enlèvement des ouvrages visés dans les dispositifs produits a déjà fait l'objet de deux poursuites, sans qu'il n'apparaisse toutefois que le recourant ait discuté qu'il s'agît d'une haie. Dans la première, l'absence d'une désignation claire de la cause de l'obligation a constitué le motif de rejet de la mainlevée définitive s'agissant de la somme de 3'169,40 euros (arrêt attaqué p. 2, let. B; arrêt du 9 décembre 2010 du Tribunal cantonal fribourgeois, pièce 11 [8] du bordereau Y._ du 24 octobre 2011). Il faut relever que ce montant correspond à celui dont fait état le devis du 5 janvier 2009 figurant au dossier et dont l'objet était une " haie à couper " (bordereau Y._ du 24 octobre 2011, pièce 5), document qui avait été adressé à titre informatif au recourant par le mandataire de l'intimé dans le courrier du 3 mars 2009 précité l'invitant à s'exécuter conformément aux dispositifs rendus. Dans la seconde poursuite, le motif de rejet a ressorti au fait que le créancier n'avait produit que ce devis de 3'169,40 euros, ce qui n'attestait pas du paiement des frais (arrêt attaqué p. 2, let. B; décision du Président du Tribunal de la Veveyse, pièce 12 du bordereau Y._ du 24 octobre 2011). Il convient en outre de noter l'attitude pour le moins singulière du débiteur poursuivi qui plaide, dans la présente poursuite, en même temps que l'ouvrage dont l'enlèvement a été ordonné ne porte pas sur une haie et qu'aucune haie n'a été coupée ou déplacée après son départ selon les " informations reçues des nouveaux propriétaires " de sa parcelle et " de voisins " (recours du 9 février 2012 à la Cour d'appel, p. 4; pièce 24 du bordereau du 13 février 2012 du Tribunal d'arrondissement de la Veveyse). Au vu de ces éléments, il n'est pas insoutenable de considérer que les ouvrages dont l'enlèvement a été ordonné dans les dispositifs produits concernent une haie.
S'agissant de la quotité de la créance, l'autorité cantonale pouvait la déterminer sans arbitraire du rapprochement des dispositifs avec d'autres pièces qui étaient propres à l'établir avec exactitude. Les dispositifs qui ordonnent l'enlèvement des ouvrages du recourant empiétant sur la parcelle voisine indiquent à titre de domicile de l'intéressé au moment des faits un lieudit A._, à B._ et autorisent l'exécution par un tiers. La facture de 13'600 euros datée du 3 février 2009 adressée à l'intimé fait état d'un montant de 3'200 euros, soit 3'692 fr. 35 suisses après conversion, pour la " coupe totale " d'une haie sur un chantier au même lieudit. La copie du chèque de 13'600 euros établi le 6 février 2009 en faveur de l'entreprise mandatée et le courrier du 14 décembre 2011 par lequel l'entrepreneur atteste avoir reçu cette somme de l'intimé établissent le paiement de ces frais d'enlèvement. Que ceux-ci soient consignés dans une simple facture et n'aient pas été établis " en contradictoire " est sans pertinence. En ne s'exécutant pas, le recourant a pris le risque de s'exposer, ainsi que le prévoyait les dispositifs des jugements produits, aux frais d'une exécution par substitution à laquelle l'intimé était autorisé à recourir.
4. Vu ce qui précède, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>) et versera des dépens à l'intimé qui a été invité à répondre (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimé la somme de 800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4. Le présent arrêt est communiqué aux parties et à la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg.
Lausanne, le 12 septembre 2012
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Juge présidant: Escher
La Greffière: Jordan