Faits: A. Par jugement du 30 mars 2011, le Juge de police de la Gruyère a acquitté A.X._ du chef d'accusation de dénonciation calomnieuse et l'a condamné pour lésions corporelles simples et menaces à un travail d'intérêt général de 240 heures, avec sursis pendant 4 ans. Il a ordonné un traitement ambulatoire accompagné d'une assistance de probation visant à mettre en place et veiller au suivi du traitement et une règle de conduite imposant à A.X._ de ne pas approcher ou importuner B.X._ et C.X._, le sursis étant subordonné au suivi du traitement et au respect de la règle de conduite. B. Par arrêt du 29 mars 2012, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté l'appel formé par A.X._ et confirmé le jugement de première instance. En bref, il ressort les éléments suivants de cet arrêt. Le 21 avril 2009, A.X._ a déclaré à ses parents, B.X._ et C.X._, « les deux p'tits vieux, vous vous croyez forts, mais je vais vous écraser » alors que sa mère lui avait signifié qu'elle ne souhaitait plus s'occuper de sa lessive. Les parents en ont été effrayés. Le 9 juillet 2009, A.X._ s'est rendu au domicile de ses parents où son père lui a ouvert la porte. Il a alors mis ce dernier à terre et l'a frappé avant de monter à l'étage où se trouvait sa mère qu'il a giflée à deux reprises puis poussée à terre. A la suite de ces faits, C.X._ a souffert de douleurs cervicales et dorsales et de divers égratignures. B.X._ a souffert de douleurs dorsales persistantes. Tous deux ont également déclaré qu'ils avaient vraiment eu peur pendant plusieurs mois après l'agression. Dans le cadre de la procédure pénale, A.X._ a été soumis à une expertise psychiatrique qui a conclu que ce dernier souffrait d'un trouble de la personnalité mixte à traits dépendants et paranoïaques décompensé dans le cadre d'un trouble de l'adaptation avec perturbation mixte des émotions et des conduites. L'expert a notamment indiqué que A.X._ semblait avoir cristallisé un vécu persécutoire systématisé à l'égard de ses parents, ressentis comme seuls responsables de ses déboires affectifs. Il a souligné que le trouble dont celui-ci souffre a conditionné une perception erronée de la relation avec ses parents et de leurs intentions à son égard. Il a conclu qu'un traitement psychiatrique ambulatoire et par neuroleptiques et antidépresseurs est indiqué à long terme. C. A.X._ forme un recours en matière pénale contre cet arrêt. Il conclut, sous suite de frais et dépens, à sa réforme en ce sens qu'il est acquitté des chefs d'accusation de lésions corporelles simples et de menaces. Il n'a pas été ordonné d'échange d'écritures.