Faits:
A. Par jugement du 23 août 2011, le Tribunal de police de l'arrondissement de l'Est vaudois a libéré X._ des chefs d'accusation d'escroquerie et de gestion déloyale, a constaté qu'il s'était rendu coupable d'obtention frauduleuse d'une constatation fausse, l'a condamné à une peine pécuniaire de trois jours-amende, le montant du jour-amende étant fixé à 50 fr., a suspendu la peine précitée et a fixé un délai d'épreuve de deux ans.
B. Par jugement du 28 octobre 2011, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._. En bref, il en ressort les faits suivants.
En juillet 2003, X._ a apporté son assistance à son beau-frère, qui souhaitait acquérir un bien immobilier d'un tiers. L'acheteur et le vendeur avaient alors déjà manifesté leur volonté concordante d'aliéner, respectivement d'acquérir l'immeuble en question. Le prix de vente avait été fixé à 725'000 francs. Agissant à titre gracieux, X._ a élaboré et concrétisé la demande de financement présentée par son beau-frère à la banque créancière hypothécaire. Au préalable, il avait convenu avec les parties d'ajouter au prix de vente une commission de courtage fictive en sa faveur d'un montant de 25'000 francs. Le notaire ayant instrumentalisé l'acte lui a versé cette somme comme commission de courtage, prélevée sur le prix de vente de 750'000 francs. X._ l'a indirectement rétrocédée à son beau-frère en prenant à sa charge divers travaux de maçonnerie effectués dans le bâtiment.
C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement, concluant, sous suite de dépens, à sa libération.
Des déterminations n'ont pas été requises.

Considérant en droit:
1. Le recourant invoque une violation de l'<ref-law>.
1.1 Aux termes de l'<ref-law>, se rend coupable d'obtention frauduleuse d'une constatation fausse "celui qui, en induisant en erreur un fonctionnaire ou un officier public, l'aura amené à constater faussement dans un titre authentique un fait ayant une portée juridique, notamment à certifier faussement l'authenticité d'une signature ou l'exactitude d'une copie". Cela vaut notamment pour la constatation d'un prix de vente inexact dans un contrat de vente immobilière stipulé par un notaire et sans qu'il y ait lieu de distinguer si le prix est sur ou sous-évalué (<ref-ruling>; <ref-ruling> consid. 1a p. 164). Le texte légal n'exige pas que celui qui trompe le notaire soit partie à l'acte notarié. L'obtention frauduleuse d'une constatation fausse n'est pas un délit propre. L'infraction peut être commise par quiconque (arrêt 6S.163/2000 du 10 mai 2000 consid. 2).
1.2 La cour cantonale a retenu que la constatation fausse avait trait au prix de vente de l'immeuble, le prix de 750'000 fr. mentionné dans l'acte ne correspondant pas à la réalité économique. Le prix de vente réel correspondait à 725'000 fr., la commission de courtage de 25'000 fr. étant fictive pour être destinée à être rétrocédée à l'acheteur. La fausseté résidait ainsi dans la discordance entre la réalité économique et la teneur de l'acte, le prix figurant dans l'acte ne correspondant pas au montant réellement déboursé par l'acheteur. La cour cantonale a par ailleurs relevé que la tromperie du notaire était manifeste et résidait dans la transmission délibérée d'éléments économiques dissimulés et invérifiables, destinés à figurer dans l'acte authentique.
1.3 Le recourant nie que le contenu de l'acte authentique soit faux et conteste avoir trompé le notaire.
1.3.1 Déterminer si le prix de vente indiqué dans l'acte correspond à la réalité relève de l'établissement des faits et de l'appréciation des preuves.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur cette notion, cf. <ref-ruling> consid. 2.4 p. 5; 58 consid. 4.1.2 p. 62), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
Le Tribunal fédéral n'examine, en général, que les questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2.1 p. 93). De plus, il n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 1.3.1 p. 68 et arrêts cités). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.2.3 p. 5).
1.3.2 Se référant à deux pièces, le recourant affirme que les parties au contrat de vente ont véritablement décidé de fixer le prix de vente à 750'000 fr., qu'avant son intervention, elles n'en étaient qu'au stade des pourparlers et n'avaient pas encore finalisé leur accord, que son intervention était nécessaire, que la réalité économique était bien de fixer le prix à 750'000 fr. et de verser en sa faveur une commission de courtage de 25'000 francs.
Les deux pièces invoquées, d'une part une procuration du vendeur à un membre de sa famille pour la signature de l'acte notarié, d'autre part le mandat conféré au recourant par les parties à l'acte de vente, même si elles font état d'un prix de 750'000 fr., n'ont pas une valeur probante susceptible de faire apparaître l'appréciation des preuves comme arbitraire. Tout du moins, le recourant n'explique pas précisément en quoi cela serait le cas et sa critique, insuffisamment motivée au regard de l'<ref-law>, est à cet égard irrecevable. Par ailleurs, le recourant se contente d'affirmations en opposant sa propre version des faits à celle retenue par l'autorité précédente. Purement appellatoire, son argumentation est irrecevable.
1.3.3 Dans la mesure où le recourant conteste avoir trompé le notaire, il se limite à reprendre son argumentation selon laquelle le prix de vente a bien été fixé à 750'000 francs. Là encore, il formule une critique appellatoire, partant irrecevable.
1.4 Le recourant soutient ensuite que l'élément subjectif de l'infraction n'est pas réalisé. Il nie avoir eu l'intention de tromper le notaire. Il met aussi en avant que ni la banque hypothécaire ni le fisc n'ont été lésés.
1.4.1 L'infraction réprimée par l'<ref-law> est intentionnelle. Elle suppose l'intention de tromper autrui, le dol éventuel étant suffisant. Elle n'implique en revanche pas de dessein spécial de procurer un avantage ou de porter atteinte aux intérêts d'autrui (cf. TRECHSEL/ERNI, Schweizerisches Strafgesetzbuch, Praxiskommentar, n. 5 ad <ref-law>). Savoir ce que l'auteur voulait, savait ou ce dont il s'accommodait relève du contenu de la pensée, donc de l'établissement des faits, lesquels ne peuvent être revus devant le Tribunal fédéral que sous l'angle de l'arbitraire (<ref-ruling> consid. 2.3.2 p. 156).
1.4.2 Pour la cour cantonale, la tromperie du notaire est manifeste, le recourant ayant délibérément dissimulé des éléments invérifiables (cf. jugement p. 7 consid. 6). On comprend ainsi que la cour cantonale a reproché au recourant d'avoir intentionnellement caché au notaire le caractère fictif de la commission, dont le montant de 25'000 fr. devait en réalité revenir à l'acheteur, ce qui faussait le prix de vente indiqué dans l'acte. Le recourant ne formule aucune critique recevable sous l'angle de l'<ref-law> établissant que la cour cantonale aurait versé dans l'arbitraire en admettant que le recourant avait délibérément trompé le notaire. Appellatoires, ses critiques sont irrecevables. Pour le surplus, que la banque ou le fisc n'aient pas été lésés est sans incidence quant à la réalisation de l'infraction.
2. Le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 mai 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Gehring