Faits:
A. Par jugement du 4 novembre 2011, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour lésions corporelles simples à une peine pécuniaire de 20 jours-amende à 20 fr. avec sursis pendant 2 ans et a alloué à Y._ une indemnité de 2000 fr. pour tort moral et de 3839 fr. 30 à titre de participation à ses honoraires d'avocat, acte de ses réserves civiles lui étant donné pour le surplus.
B. Par jugement du 7 mars 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ et a confirmé le jugement de première instance.
En bref, il ressort les éléments suivants de ce jugement.
En marge d'un litige civil avec l'épouse de X._ au sujet de la vente d'un écran d'ordinateur d'occasion, Y._ s'est rendu, le 12 mai 2009, au domicile de X._ et de son épouse pour convaincre son cocontractant du bien-fondé de ses doléances. Lorsque Y._ a manifesté son intention de pénétrer dans l'immeuble dans lequel se trouvait le logement de X._, celui-ci l'a repoussé des deux mains pour l'en empêcher. Il s'en est suivi une altercation physique lors de laquelle Y._ s'est brisé une cheville sur une bordure en béton.
C. X._ forme un recours en matière pénale contre ce jugement. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté des chefs d'accusation de lésions corporelles simples et de voies de fait.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant invoque une violation de la présomption d'innocence et du principe in dubio pro reo et fait valoir que la cour cantonale a procédé à une interprétation arbitraire des preuves. Si tel n'avait pas été le cas, elle aurait dû retenir que le recourant avait agi en état de légitime défense.
1.1 Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4, p. 313; sur la notion d'arbitraire, v. : <ref-ruling> consid. 2.4 p. 5). Ce dernier reproche se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; 10 CPP; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3, p. 105). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> c. 5.1 p. 356 et références citées).
1.2 La légitime défense suppose une attaque, c'est-à-dire un comportement visant à porter atteinte à un bien juridiquement protégé, ou la menace d'une attaque, soit le risque que l'atteinte se réalise. Il doit s'agir d'une attaque actuelle ou à tout le moins imminente, ce qui implique que l'atteinte soit effective ou qu'elle menace de se produire incessamment (arrêt 6B_632/2011 du 19 mars 2012 consid. 2.1; <ref-ruling> consid. 2a p. 14; <ref-ruling> consid. c p. 236 s.). Cette condition n'est pas réalisée lorsque l'attaque a cessé ou qu'il n'y a pas encore lieu de s'y attendre (arrêt 6B_632/2011 du 19 mars 2012 consid. 2.1; <ref-ruling>, p. 83). S'agissant en particulier de la menace d'une attaque imminente contre la vie ou l'intégrité corporelle, celui qui est visé n'a évidemment pas à attendre jusqu'à ce qu'il soit trop tard pour se défendre; il faut toutefois que des signes concrets annonçant un danger incitent à la défense. Tel est notamment le cas lorsque l'agresseur adopte un comportement menaçant, se prépare au combat ou effectue des gestes qui donnent à le penser (arrêt 6B_632/2011 du 19 mars 2012 consid. 2.1; <ref-ruling>, p. 83). La seule perspective qu'une querelle pourrait aboutir à des voies de fait ne suffit pas. Par ailleurs, l'acte de celui qui est attaqué ou menacé de l'être doit tendre à la défense; un comportement visant à se venger ou à punir ne relève pas de la légitime défense; il en va de même du comportement qui tend à prévenir une attaque certes possible mais encore incertaine, c'est-à-dire à neutraliser l'adversaire selon le principe que la meilleure défense est l'attaque (arrêt 6B_632/2011 du 19 mars 2012 consid. 2.1; <ref-ruling>, p. 83).
1.3 L'autorité de première instance a déclaré qu'elle n'était convaincue ni par la version du recourant, ni par celle de l'intimé. Elle a retenu que les deux protagonistes s'étaient mutuellement empoignés et étaient tombés ensemble à terre, cette chute étant la cause de la fracture dont a été victime l'intimé.
Quant à la cour cantonale, elle a considéré que le premier juge avait correctement écarté les deux versions des protagonistes et avait expliqué sur quels éléments il fondait sa conviction. Elle a toutefois ensuite retenu que l'altercation s'était déroulée différemment, soit en deux phases. Lors de la première, le recourant avait mis l'intimé à terre, puis dans un second temps, il l'avait écrasé de toute sa masse, la cheville de l'intimé se brisant dans cette seconde phase. La cour cantonale a indiqué se fonder sur les déclarations convaincantes de l'intimé lors des débats d'appel pour établir le déroulement des événements.
1.4 Le recourant soutient que l'appréciation des preuves aurait dû amener la cour cantonale à retenir qu'il avait agi en état de légitime défense. Il lui reproche d'être tombée dans l'arbitraire en retenant une altercation en deux phases. Cette version ne ressortirait pas du dossier et serait même contraire aux éléments de preuve y figurant, soit notamment les déclarations du seul témoin de la scène et de l'intimé lui-même. De plus, les déclarations de l'intimé aux débats ne figureraient pas au procès-verbal.
En se fondant sur les déclarations de l'intimé, la cour cantonale a procédé à une nouvelle appréciation des preuves faisant usage de son plein pouvoir d'examen (cf. art. 398 al. 2 et 3 CPP). Il est vrai que les seules déclarations de l'intimé aux débats d'appel ont consisté à confirmer ses dires précédents, que la cour cantonale n'explique pas en quoi dites déclarations seraient crédibles et qu'il apparaît quelque peu contradictoire d'indiquer que l'autorité de première instance a correctement écarté les deux versions des protagonistes, pour finalement retenir tout de même la version de l'un des deux. Toutefois, savoir si la version de l'altercation en deux phases retenue par la cour cantonale est arbitraire peut demeurer indécis, dès lors qu'elle n'est pas de nature à faire apparaître la solution retenue comme arbitraire dans son résultat. En effet, même si l'on retient, comme le soutient le recourant et comme l'a fait l'autorité de première instance, que les deux protagonistes se sont mutuellement empoignés et sont tombés ensemble, les éléments déterminants pour examiner la question de la légitime défense sont ceux qui se sont éventuellement déroulés juste avant la chute.
1.5 A cet égard, le recourant soutient que les multiples tentatives d'intimidation par téléphone, l'envie de confrontation recherchée par l'intimé, qui a tenté de pénétrer dans son immeuble, et les gestes agressifs qu'il a eus à son égard devant l'immeuble, permettraient d'établir qu'il s'est senti menacé et qu'il a réagi de manière proportionnée.
Ce faisant, le recourant s'éloigne des faits constatés par la cour cantonale. Il ne formule qu'une critique appellatoire, partant irrecevable. Il en va, en particulier, ainsi lorsqu'il prétend que l'intimé avait envie d'une confrontation et qu'il a eu des gestes agressifs à son égard devant l'immeuble. A ce sujet, se référant au témoignage de l'élève-conductrice qui accompagnait l'intimé, la cour cantonale a relevé que l'état d'esprit de ce dernier n'était pas belliqueux au moment de se rendre chez le recourant. Quant aux prétendus gestes agressifs de l'intimé, cette version des faits a été écartée tant par la cour cantonale que par le premier juge. Le recourant ne démontre pas en quoi ces constatations seraient arbitraires, se bornant à opposer, une nouvelle fois, sa propre version des faits. Le seul fait que l'intimé ait téléphoné à de nombreuses reprises à l'épouse du recourant et ait tenté de pénétrer dans l'immeuble de ce dernier, ne suffit pas à établir son intention de le frapper ou le blesser. Il n'est donc pas établi que le recourant ait fait l'objet d'une attaque actuelle ou imminente. Il ne se trouvait pas en situation de légitime défense juste avant l'empoignade mutuelle, ni au moment de celle-ci, chacun des protagonistes étant, dès cet instant, à la fois attaqué et attaquant. L'<ref-law> n'est pas applicable.
1.6 Pour le surplus, le recourant ne conteste pas que les éléments constitutifs de l'infraction de lésions corporelles simples soient réunis. C'est donc sans violer le droit fédéral que la cour cantonale a reconnu le recourant coupable de cette infraction.
2. Le recours doit ainsi être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens à l'intimé qui n'a pas été invité à procéder (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 août 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet