Faits: A. Par arrêt du 5 février 2008, rectifié par arrêts des 13 mai et 2 septembre 2008, la Cour d'appel de Chambéry (France) a notamment ordonné aux époux Dame X._ et X._ de supprimer, dans le délai d'un mois dès la signification de l'arrêt du 13 mai 2008, les ouvrages qu'ils avaient réalisés par empiètement sur la parcelle no xxxx, propriété de Y._. Elle a autorisé ce dernier, en cas d'inexécution, à procéder lui-même à la suppression ordonnée, aux frais et risques des époux X._, qu'elle a en outre condamnés à payer la somme de 3'000 euros à titre de dommages-intérêts. B. Les époux X._ n'ont pas exécuté ces arrêts. Y._ a introduit à deux reprises des poursuites pour obtenir le paiement des frais d'enlèvement des ouvrages, lesquelles n'ont toutefois pas abouti. Dans l'une, la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg a, le 9 décembre 2010, rejeté la requête de mainlevée définitive, pour le motif que la cause de l'obligation n'était pas assez clairement désignée dans les commandements de payer en cause. Dans l'autre, par décision du 4 juillet 2011, le Président du Tribunal civil de la Veveyse a également refusé la mainlevée, considérant que Y._, qui n'avait produit qu'un devis, n'avait pas établi s'être acquitté de frais en relation avec l'enlèvement des ouvrages et, partant, n'avait pas démontré l'existence de sa créance envers le poursuivi. C. Le 24 août 2011, poursuivant une nouvelle fois le prénommé en exécution des arrêts susmentionnés de la Cour d'appel de Chambéry, Y._ a fait notifier à X._ un commandement de payer (poursuite no xxxxxx) la somme de 3'692 fr. 35, avec intérêts à 5% dès le 6 février 2009. Le poursuivi a fait opposition totale. Par décision du 3 janvier 2012, le Président du Tribunal civil de la Veveyse a prononcé la mainlevée définitive de l'opposition et mis les frais et dépens à la charge de X._. Statuant le 28 mars 2012, la IIe Cour d'appel civil du Tribunal cantonal fribourgeois a confirmé ce jugement, sous suite de frais et dépens. D. Par écriture du 2 mai 2012, X._ forme un recours constitutionnel subsidiaire au Tribunal fédéral. Il conclut, sous suite de frais et dépens, au rejet de la requête de mainlevée et au renvoi de la cause pour décision sur les frais et dépens des procédures cantonales. L'intimé propose le rejet du recours. L'autorité cantonale n'a pas formulé d'observations. E. Par ordonnance du 3 mai 2012, la demande d'effet suspensif a été rejetée.