Faits:
A. Le 8 juillet 2005, vers 22 h 00, X._ s'est rendu devant la fabrique où travaillait son épouse, dont il vivait séparé, pour l'y rencontrer. Cette dernière est toutefois montée directement dans la voiture de Y._. X._ a tenté de discuter avec ce dernier, qui a démarré. X._ a chuté et s'est gravement blessé. Une invalidité de 40% lui a été reconnue avec effet au 1er juillet 2006.
Par jugement du 9 juin 2009, la Juge de police de l'arrondissement de la Gruyère a acquitté Y._ de l'accusation de lésions corporelles simples, de lésions corporelles graves par négligence et de violation des devoirs en cas d'accident. Ce jugement faisait suite à une première décision du 13 novembre 2007 du Juge de police de l'arrondissement de la Gruyère condamnant Y._, jugement toutefois annulé par arrêt du 12 décembre 2008 de la Cour d'appel pénal du canton de Fribourg.
En bref, la Juge de police de l'arrondissement de la Gruyère a relevé les nombreuses divergences existant entre les versions de la victime et de Y._. Elle a dès lors estimé qu'elle ne pouvait se forger une intime conviction sur le déroulement des faits et notamment sur la question de savoir si Y._ avait ou non bousculé X._ avec son véhicule, ce qui l'aurait déséquilibré et fait chuter. Y._ devait dès lors être acquitté au bénéfice du doute.
B. Par arrêt du 17 novembre 2010, la Cour d'appel pénal du canton de Fribourg a rejeté le recours interjeté par X._.
C. Ce dernier forme un recours auprès du Tribunal fédéral. Il conclut notamment à la condamnation de Y._ pour lésions corporelles graves par négligence et violation des devoirs en cas d'accident et à l'adjudication de l'action civile dans son principe. Subsidiairement, il requiert l'annulation de l'arrêt du 17 novembre 2010 et le renvoi de la cause pour nouvelle décision.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 142). Toutefois, dans la mesure où elles ne sont pas immédiatement données, le recourant doit exposer en quoi les conditions de recevabilité sont réunies, en particulier en quoi il a qualité pour recourir, sous peine d'irrecevabilité (art. 42 al. 1 et 2 LTF; <ref-ruling> consid. 4 p. 47).
1.1 L'arrêt attaqué a été rendu le 17 novembre 2010. La qualité pour recourir s'examine donc au regard de l'<ref-law> dans sa teneur en vigueur jusqu'au 31 décembre 2010 (cf. <ref-law>; arrêt 1B_37/2011 du 4 février 2011 consid. 2).
1.2 Aux termes de l'art. 81 al. 1 let. b ch. 5 aLTF, la victime qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles.
Le recourant revêt la qualité de victime au sens de l'<ref-law> et a participé à la procédure de dernière instance cantonale. Reste à déterminer si l'arrêt entrepris peut avoir des effets sur le jugement de ses prétentions civiles.
1.3 Selon la jurisprudence, la victime n'est habilitée à recourir contre un jugement prononçant l'acquittement du prévenu que si elle a, autant que cela pouvait raisonnablement être exigé d'elle, exercé l'action civile, en prenant des conclusions en réparation de tout ou partie de son dommage matériel ou de son tort moral. Lorsqu'elle n'a pas pris de conclusions civiles, il lui incombe d'expliquer quelles prétentions elle entend faire valoir, dans quelle mesure la décision attaquée a une incidence sur lesdites prétentions et pourquoi elle n'a pas été en mesure d'agir dans le cadre de la procédure pénale (<ref-ruling> consid. 1.1.1 p. 196; <ref-ruling> consid. 1a p. 187).
1.4 En l'espèce, la procédure pénale a été menée jusqu'au stade du jugement, ce qui aurait dû permettre au recourant d'y articuler des prétentions civiles chiffrées. Le recourant a toutefois uniquement conclu devant les instances cantonales à ce que l'action civile lui soit adjugée dans son principe. Il explique cette conclusion par la teneur de l'art. 21 al. 2 du Code de procédure pénale fribourgeois du 14 novembre 1996 en vigueur jusqu'au 31 décembre 2010 (aCPP/FR) et par le fait que la compétence du juge était dépassée.
Ce dernier moyen est infondé, le juge pénal connaissant des prétentions civiles indépendamment de leur valeur litigieuse (art. 20 al. 1 aCPP/FR).
A l'instar de l'actuel art. 126 al. 3 CPP, l'art. 21 al. 2 aCPP/FR permettait au juge de se limiter à adjuger l'action civile dans son principe et de renvoyer la partie civile pour le reste devant les tribunaux civils, lorsque le jugement complet des prétentions civiles exigeait un travail disproportionné. Tel était notamment le cas lorsque des recherches compliquées propres à retarder considérablement le jugement étaient nécessaires (DAMIEN PILLER/CLAUDE POCHON, Commentaire du Code de procédure pénale du canton de Fribourg, 1998, n. 21.7 ad art. 21).
En l'occurrence, le recourant expose qu'il entend réclamer à l'intimé, dans le cadre d'un procès civil, la réparation du tort moral subi, de sa perte de gain actuelle, de l'atteinte à son avenir économique et du dommage ménager enduré et qu'il endurera. Au vu des mesures que l'examen de telles prétentions impliquent, il apparaît très vraisemblable que le juge, s'il avait condamné l'intimé, eût décidé d'allouer uniquement l'action civile dans son principe et de renvoyer le recourant devant les tribunaux civils pour établir le montant des sommes dues. C'est d'ailleurs ce que le juge de première instance avait fait dans le premier procès, sur demande du recourant. Dans ces circonstances, on ne saurait reprocher à ce dernier de n'avoir pas pris de conclusions chiffrées, même sur certains postes selon lui déjà définitifs, et avoir uniquement conclu à l'octroi dans son principe de l'action civile. On doit dès lors considérer qu'il a émis des prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 aLTF.
Le rejet de ces prétentions revient à refuser d'admettre que la responsabilité civile de l'intimé est engagée pour le dommage subi par le recourant (cf. NICOLAS JEANDIN/HENRY MATZ, in Commentaire romand CPP, 2011, n. 34 ad art. 126). Or ce constat aurait lié le juge civil, qui n'aurait plus eu qu'à établir la quotité du dommage et fixer l'indemnité due (JEANDIN/MATZ, op. cit., n. 35 ad art. 126; PILLER/POCHON, op. cit., n. 21.6 ad art. 21). L'arrêt entrepris a donc des effets sur les prétentions civiles du recourant. Ce dernier a qualité pour recourir.
2. Le recourant invoque la violation des art. 9, 29 al. 1, 32 al. 1 Cst., 6 par. 2 CEDH, 14 Pacte Onu II, 4 al. 2 let. aCPP/FR, 78 ss, 95 et 97 LTF ainsi que des "règles fédérales et internationales en matière de preuve".
2.1 Le Tribunal fédéral n'examine les moyens fondés sur la violation d'un droit fondamental ou d'une disposition de droit cantonal que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct de ces droits et préciser en quoi consiste la violation (<ref-ruling> consid. 2.8 p. 494 et arrêts cités). Seuls les griefs répondant à ces exigences seront examinés.
2.2 On comprend que le recourant se plaint d'arbitraire dans l'appréciation des preuves et dans l'établissement des faits, l'autorité précédente n'ayant pas considéré comme établis les faits rapportés par le témoin Z._. Celui-ci avait indiqué que le recourant avait été bousculé par la voiture de l'intimé, qu'il s'était alors retenu à la portière de ce véhicule, avait été traîné sur quelques mètres, puis avait lâché prise avant de tomber sur la route et de rouler sous l'effet de l'inertie.
2.3 En matière d'appréciation des preuves et de constatation des faits, l'autorité tombe dans l'arbitraire lorsqu'elle ne prend pas en considération, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, sur la base des éléments recueillis, elle parvient à des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable ou même préférable. Au contraire, il faut que la décision entreprise soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.2 p. 560).
2.4 L'autorité précédente a considéré que les versions des évènements proposées par les parties étaient toutes deux plausibles et que les déclarations des témoins n'avaient apporté aucun élément décisif pour établir les faits. Elle a en outre souligné que le juge de première instance avait estimé que le témoignage de Z._, qui avait déclaré que le recourant ne s'était pas accoudé sur la fenêtre du véhicule de l'intimé, appuyait plutôt la version de ce dernier. Elle a également relevé que le recourant n'avait pas contesté devant elle les contradictions soulignées par le premier juge entre la vitesse imputée par le recourant à l'intimé et la manoeuvre que ce dernier aurait dû faire pour sortir de l'endroit où le recourant avait indiqué qu'il était parqué, de même que les divergences entre ses propres déclarations devant le juge d'instruction et devant le juge de police. Selon les autorités cantonales, ces éléments affaiblissaient la version des faits du recourant, qui ne pouvait pour cette raison encore s'imposer sur celle fournie par l'intimé afin d'établir de quelle manière s'étaient déroulés les faits.
2.5 Le recourant ne discute pas ces éléments. Il n'expose pas en quoi il était arbitraire de retenir qu'aucune des versions fournies par les parties ne s'imposait. Son grief d'arbitraire devrait pour cette raison déjà être déclaré irrecevable.
Le recourant se borne à soutenir que le témoignage de Z._ devrait prévaloir sur celui de l'intimé et de l'épouse du recourant et conduire à retenir que l'intimé l'a bousculé avec son véhicule. A l'appui de cette appréciation, il invoque tout d'abord que Z._ a pu voir la scène grâce à l'utilisation de jumelles. Cet élément est insuffisant à établir une appréciation arbitraire des preuves. Déjà, contrairement à ce qu'affirme le recourant, ce témoin ne saurait être considéré comme "un témoin neutre". En effet, Z._ venait d'être mandaté par le recourant pour suivre son épouse et découvrir son nouveau domicile (recours, p. 5). Il n'était ainsi pas neutre et son témoignage devait être apprécié, comme d'ailleurs celui de l'épouse du recourant, avec réserve. Au vu de cet élément mais également du fait que les déclarations des différentes personnes entendues étaient contradictoires, notamment celles du recourant par rapport à celles du témoin Z._, il n'était pas insoutenable de ne pas tenir ces dernières pour décisives et de considérer, au bénéfice du doute, qu'il n'était pas établi que la chute du recourant était due au comportement de l'intimé.
Il résulte de ce qui précède que le grief d'arbitraire dans l'appréciation des preuves et l'établissement des faits est infondé, à supposer qu'il soit recevable.
3. Le recourant, qui succombe, supportera les frais de justice (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimé, qui n'a pas été amené à se déterminer, ni au Ministère public (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Cour d'appel pénal du canton de Fribourg.
Lausanne, le 31 août 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod