Faits:
A. Par jugement du 10 septembre 2009, le Tribunal pénal de l'arrondissement de la Sarine a reconnu X._ coupable de tentative de contrainte. Il l'a condamné à une peine privative de liberté de 12 mois avec sursis, sous déduction de la détention avant jugement, et, solidairement avec A._, B._ et C._, au paiement à Y._ d'une indemnité de partie de 500 fr. et d'un montant de 3'133 fr. à titre de dommages et intérêts.
Statuant le 25 novembre 2010, la Cour d'appel pénal du Tribunal cantonal fribourgeois a rejeté le recours formé par X._ et confirmé le jugement de première instance.
B. X._ interjette un recours en matière pénale contre cet arrêt. Il conclut, principalement, à l'annulation de l'arrêt attaqué et à son acquittement ainsi qu'au rejet des conclusions civiles. Subsidiairement, il demande le prononcé d'une peine privative de liberté de 6 mois, avec sursis, sous déduction de la détention avant jugement, et la modification de l'arrêt attaqué en ce qui concerne les frais judiciaires de la procédure cantonale mis à sa charge. Il sollicite le bénéfice de l'assistance judiciaire.
C. Il n'a pas été ordonné d'échange d'écritures.
Considérant en droit:
1. Le recourant se plaint d'une constatation arbitraire des faits.
1.1 Le Tribunal fédéral ne peut revoir les faits établis par l'autorité précédente que s'ils l'ont été de manière manifestement inexacte, à savoir arbitraire au sens de l'art. 9 Cst., ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF; ATF 134 IV 36 consid. 1.4.1). Le grief de l'arbitraire doit être soulevé et motivé en détail par le recourant. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (cf. art. 106 al. 2 LTF; ATF 136 I 49 consid. 1.4.1; 134 II 244 consid. 2.2).
De jurisprudence constante, l'appréciation retenue en dernière instance cantonale n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable. Il faut qu'elle soit manifestement insoutenable ou, autrement dit, absolument inadmissible, et cela non seulement dans sa motivation mais dans son résultat (ATF 134 I 140 consid. 5.4; 133 I 149 consid. 3.1 et les arrêts cités).
1.2 Le jugement attaqué se fonde en substance sur les faits suivants (p. 12 et 14 s.):
Y._ est le gérant du bar U._ et un associé de O._ Sàrl, qui exploite ce bar. Le 16 avril 2006, vers midi, B._, X._, C._ et A._ se sont réunis au P._. Durant cette rencontre, ils ont décidé de faire peur à Y._ afin que ce dernier cède son bar qu'ils désiraient ardemment vu sa situation géographique centrale et sa bonne réputation, ce qu'il ne voulait pas. Il n'était pas prévu de s'en prendre physiquement à Y._, mais de casser le matériel du bar, de crier et de lui faire peur. Plus tard, vers 20h30, X._, C._ et A._ se sont rencontrés au Café R._, le temps de boire un verre. Ensuite, C._ et A._ sont partis en direction du bar U._. Vers 22h05, dans son bar, Y._ a été roué de coups portés à la tête, au visage et dans le dos par un inconnu cagoulé et muni d'une batte de base-ball, identifié ultérieurement comme étant C._.
Ces faits ont eu lieu quelques jours après que l'avocat de Y._ eut demandé au notaire de B._, A._, X._ et D._ de changer la raison sociale de la société fondée par ces derniers, S._ Sàrl, qui était domiciliée à la même adresse que le bar U._ et avait un but identique à celui de la société O._ Sàrl. Ce changement, en T._ Sàrl, a été opéré le 12 avril 2006.
Ces faits ont eu lieu quelques jours après que l'avocat de Y._ eut demandé au notaire de B._, A._, X._ et D._ de changer la raison sociale de la société fondée par ces derniers, S._ Sàrl, qui était domiciliée à la même adresse que le bar U._ et avait un but identique à celui de la société O._ Sàrl. Ce changement, en T._ Sàrl, a été opéré le 12 avril 2006.
1.3 1.3.1 Le recourant fait grief à la Cour cantonale d'avoir retenu à tort que Y._ avait conscience de la situation de contrainte, bien qu'il n'ait pas compris le but de son agression et qu'il n'ait pas fait le lien entre celle-ci et une éventuelle demande de remise de son bar (recours p. 6 - 10).
1.3.2 Interrogé sur les possibles raisons de l'agression lors du dépôt de la plainte pénale le soir des faits vers 23h15, Y._ a indiqué "je ne comprends pas pourquoi on m'a fait cela. Le seul lien que je peux faire, c'est histoire que la société qui a été créée ne doit pas prendre la même adresse que moi". L'autorité cantonale pouvait, sans tomber dans l'arbitraire, déduire de ces déclarations que la victime, d'une part, a bien fait le lien entre son agression et le changement de raison sociale qu'elle avait demandé quelques jours plus tôt, et, d'autre part, qu'elle connaissait l'identité de ses agresseurs (arrêt attaqué p. 17 s.). Peu importe que Y._ ait déposé plainte pénale contre inconnu (cf. recours p. 9).
1.3.3 Le recourant a été condamné pour tentative de contrainte au sens de l'art. 22 CP. Comme il sera démontré plus tard (cf. consid. 2.3.2), il n'est pas décisif de savoir si la victime (au moment des faits) pouvait faire le lien entre l'agression et une éventuelle demande de reprise de son bar par les auteurs de l'agression. Dès lors, l'autorité cantonale pouvait laisser cette question ouverte (cf. arrêt attaqué p. 17).
1.4 Le recourant reproche à l'autorité cantonale d'avoir retenu de manière arbitraire qu'il était "prêt à tout", bien qu'il ne voulait pas s'en prendre physiquement à Y._ le soir en question, ou le menacer d'un "dommage sérieux" (recours p. 10 s.).
La Cour cantonale a précisé que les violences physiques subies par Y._ lors de l'agression sont exclusivement imputables à C._. Le recourant n'est donc pas accusé d'avoir intentionnellement pris part aux lésions corporelles commises au préjudice de Y._. Cependant, il ne conteste pas qu'il voulait casser le matériel du bar U._ et faire peur à son gérant. Dans ce but, C._ s'est muni d'une batte de base-ball, ce dont le recourant avait connaissance. Même si ce dernier ne voulait pas s'en prendre physiquement à Y._ le soir en question, l'autorité cantonale, sans tomber dans l'arbitraire, ne pouvait pas moins déduire de l'ensemble des circonstances qu'il était prêt à des actes illicites pour parvenir à son but (se faire céder U._) et qu'il voulait faire passer un message à Y._, à savoir qu'il lui arrivera encore pire que du matériel endommagé, s'il refuse de remettre son bar (arrêt attaqué p. 18). Le recourant ne tente pas de démontrer que ces constatations de l'autorité cantonale seraient arbitraires.
Du reste, la question de savoir si le recourant voulait menacer Y._ d'un "dommage sérieux" au sens de l'art. 181 CP relève du droit fédéral. Elle doit être appréciée au vu de l'ensemble des faits retenus par l'autorité cantonale. La question sera examinée ci-dessous.
2. 2.1 Le recourant fait valoir une mauvaise application de l'art. 181 CP en relation avec l'art. 22 CP. D'une part, il reproche à l'autorité cantonale d'avoir retenu à tort un moyen de contrainte au sens de l'art. 181 CP (p. 13 s.). D'autre part, il soutient qu'une condamnation pour tentative de contrainte exige que la victime ait conscience de la situation de contrainte (p. 11-13).
2. 2.1 Le recourant fait valoir une mauvaise application de l'art. 181 CP en relation avec l'art. 22 CP. D'une part, il reproche à l'autorité cantonale d'avoir retenu à tort un moyen de contrainte au sens de l'art. 181 CP (p. 13 s.). D'autre part, il soutient qu'une condamnation pour tentative de contrainte exige que la victime ait conscience de la situation de contrainte (p. 11-13).
2.2 2.2.1 Se rend coupable de contrainte au sens de l'art. 181 CP, celui qui, en usant de violence envers une personne ou en la menaçant d'un dommage sérieux ou en l'entravant de quelque autre manière dans sa liberté d'action, l'aura obligée à faire, à ne pas faire ou à laisser faire un acte. La contrainte est illicite lorsque le moyen ou le but est contraire au droit ou encore lorsque le moyen est disproportionné pour atteindre le but visé (ATF 134 IV 216 consid. 4.1; 129 IV 6 consid. 3.4; 119 IV 301 consid. 2b).
Il y a menace d'un "dommage sérieux" lorsqu'il apparaît, selon la déclaration faite, que la survenance de l'inconvénient dépend de l'auteur et que cette perspective est telle qu'elle est de nature à entraver le destinataire dans sa liberté de décision. La question doit être tranchée en fonction de critères objectifs, et non pas d'après les réactions du destinataire visé (ATF 122 IV 322 consid. 1a; 120 IV 17 consid. 2a/aa).
Sur le plan subjectif, il faut que l'auteur ait agi avec conscience et volonté, soit au moins qu'il ait accepté l'éventualité que le procédé illicite employé entrave le destinataire dans sa liberté de décision (ATF 120 IV 17 consid. 2c).
2.2.2 En cassant le matériel du bar U._ et en effrayant son gérant, le recourant et ses coauteurs voulaient faire comprendre à Y._ qu'il lui arrivera encore pire que du matériel endommagé s'il refuse de remettre son bar (arrêt attaqué p. 18), ce qui, au vu des circonstances, pouvait notamment sous-entendre la possibilité de violences futures contre sa personne. Un tel comportement est propre à entraver une personne, de sensibilité moyenne, d'une manière substantielle dans sa liberté de décision et réunit donc les caractéristiques de la menace d'un dommage sérieux au sens de l'art. 181 CP (cf. arrêt 6S.46/2005 du 2 février 2006 consid. 7.3, non publié in ATF 132 IV 70).
2.2.2 En cassant le matériel du bar U._ et en effrayant son gérant, le recourant et ses coauteurs voulaient faire comprendre à Y._ qu'il lui arrivera encore pire que du matériel endommagé s'il refuse de remettre son bar (arrêt attaqué p. 18), ce qui, au vu des circonstances, pouvait notamment sous-entendre la possibilité de violences futures contre sa personne. Un tel comportement est propre à entraver une personne, de sensibilité moyenne, d'une manière substantielle dans sa liberté de décision et réunit donc les caractéristiques de la menace d'un dommage sérieux au sens de l'art. 181 CP (cf. arrêt 6S.46/2005 du 2 février 2006 consid. 7.3, non publié in ATF 132 IV 70).
2.3 2.3.1 Selon la jurisprudence, il y a tentative lorsque l'auteur a réalisé tous les éléments subjectifs de l'infraction et manifesté sa décision de la commettre, alors que les éléments objectifs font, en tout ou en partie, défaut (ATF 131 IV 100 consid. 7.2.1; 128 IV 18 consid. 3b). La nouvelle partie générale du Code pénal, applicable en l'occurrence, réunit dans une même disposition le délit manqué (ou tentative achevée), la tentative inachevée et le délit impossible (cf. art. 22 al. 1 CP; FF 1999 p. 1816). Il y a délit manqué lorsque l'auteur a achevé son activité coupable, mais que le résultat délictueux ne se produit pas. La contrainte est une infraction de résultat qui est consommée dès que la personne visée a commencé à adopter le comportement imposé par le moyen de pression (ATF 120 IV 17; arrêt 6B_485/2009 du 26 août 2009 consid. 1.1). Les conditions du délit manqué de contrainte sont donc réalisées si malgré la menace d'un dommage sérieux, la personne concernée ne cède pas et n'adopte pas le comportement souhaité par l'auteur (ATF 106 IV 125 consid. 2b). En revanche, il faut retenir une tentative inachevée lorsque l'auteur a commencé l'exécution d'un crime ou d'un délit sans avoir poursuivi jusqu'au bout son activité coupable (cf. ATF 131 IV 100 consid. 7.2.1). Enfin, on parle de délit impossible lorsque l'auteur tente de commettre un crime ou un délit par un moyen ou contre un objet de nature telle que la perpétration de cette infraction est absolument impossible (ATF 131 IV 100 consid. 7.2.1; 129 IV 329 consid. 2.6; 126 IV 53 consid. 2b).
La distinction entre ces trois formes de tentative n'a, depuis l'entrée en vigueur de la nouvelle partie générale du Code pénal, plus qu'une portée très restreinte, puisqu'elle n'a désormais plus d'incidence sur le cadre légal de la peine, que le juge a, pour chacune d'elles, la faculté d'atténuer selon sa libre appréciation (cf. 6B_728/2010 du 1er mars 2011 consid. 2.3.4; 6B_808/2009 du 3 décembre 2009 consid. 1.1).
2.3.2 En l'occurrence, le recourant voulait menacer Y._ d'un dommage sérieux afin d'obtenir de lui qu'il cède son bar. Il a donc réalisé tous les éléments subjectifs de l'infraction de contrainte de l'art. 181 CP. Au plus tard lorsque C._ s'est rendu chez Y._ dans l'intention de l'attaquer, le recourant et ses coauteurs ont accompli l'acte qui représente la démarche ultime et décisive vers la réalisation de l'infraction et donc franchi le seuil de la tentative (cf. ATF 131 IV 100 consid. 7.2.1). Comme le défaut de réalisation de l'un des éléments constitutifs objectifs de l'infraction ne suffit pas à exclure la tentative (cf. consid. 2.3.1 ci-dessus), l'autorité cantonale a retenu à juste titre qu'il y a eu tentative de contrainte au sens de l'art. 181 CP en relation avec l'art. 22 CP, même à admettre que Y._ n'ait éventuellement pas compris qui était à l'origine de son attaque ni quelle était la finalité de celle-ci (arrêt attaqué p. 17).
La condamnation pour tentative de contrainte (art. 181 en relation avec l'art. 22 CP) ne viole pas le droit fédéral.
3. 3.1 Le recourant critique la quotité de la peine qu'il juge trop lourde comparée à celles prononcées contre E._, F._, G._ et C._ (recours p. 14 ss).
3.2 L'art. 47 al. 1 CP prévoit que la peine doit être fixée d'après la culpabilité de l'auteur, en tenant compte des antécédents et de la situation personnelle de ce dernier ainsi que de l'effet de la peine sur son avenir. L'alinéa 2 de cette disposition énumère, de manière non limitative, une série de critères à prendre en considération pour déterminer la culpabilité de l'auteur. Ces critères correspondent à ceux établis par la jurisprudence relative à l'art. 63 aCP (ATF 134 IV 17 consid. 2.1).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, lorsqu'il fonde sa décision sur des critères étrangers à l'art. 47 CP, lorsqu'il omet de prendre en considération des éléments prévus par cette disposition ou lorsqu'il a abusé de son pouvoir d'appréciation en fixant une peine exagérément sévère ou excessivement clémente (ATF 134 IV 17 consid. 2.1 et les arrêts cités).
3.3 La peine privative de liberté de 12 mois, assortie du sursis, se situe dans le cadre légal et a été fixée sur la base de critères pertinents. Le recourant, avec raison, ne prétend pas que des éléments auraient été omis ou pris en considération à tort ou évalués de manière manifestement incorrecte par l'autorité cantonale en ce qui le concerne.
3.4 Lorsque deux coauteurs sont jugés dans une seule procédure, une peine différente peut se justifier, alors qu'ils ont commis les mêmes faits, ce en raison de l'appréciation subjective de la culpabilité et de la situation personnelle de chacun. La juste proportion des peines pour des coauteurs doit être prise en compte comme élément dans l'appréciation de la peine (ATF 135 IV 191 consid. 3.2).
En l'occurrence, il ressort de l'arrêt attaqué que l'autorité cantonale n'a pas méconnu ce principe. Elle a notamment comparé les peines prononcées contre B._, A._ et C._ à la sanction infligée au recourant, ce qui n'est pas remis en question par ce dernier.
Le recourant soutient que l'autorité cantonale, en se fondant sur des faits manifestement inexacts, aurait fait bénéficier C._ de la circonstance atténuante de l'art. 48 let. a ch. 4 CP et admis à tort une bonne collaboration lors de l'enquête pénale ainsi qu'une prise de conscience de la gravité des faits par ce dernier. La peine de 9 mois de privation de liberté prononcée contre C._ est, de l'avis du recourant, trop clémente par rapport à la peine de 12 mois de privation de liberté retenue à son égard et violerait le principe de l'égalité des peines, respectivement rendrait sa peine arbitrairement sévère (recours p. 18 s.). L'argument doit être refusé. Selon la jurisprudence, il n'y a pas de droit à une "égalité de traitement dans l'illégalité", si le juge estime que le coauteur a été condamné à une peine trop clémente (ATF 135 IV 191 consid. 3.3). Même à supposer que l'autorité cantonale ait retenu à tort des circonstances atténuantes à l'égard de C._, le recourant ne pourrait rien en déduire en sa faveur.
Pour ce qui est de E._, F._ et G._, ils n'ont pas participé à la tentative de contrainte contre Y._, partant ils ne sont pas des coauteurs du recourant au sens de la jurisprudence citée plus haut. Ils ont certes été condamnés pour d'autres faits, qui n'ont cependant rien à voir avec la tentative de contrainte reprochée au recourant. Une comparaison des peines n'est donc d'emblée pas possible.
3.5 L'instance inférieure a supprimé dans le dispositif de son jugement la référence faite par le Tribunal pénal de l'arrondissement de la Sarine à l'art. 49 CP relatif au concours d'infraction. Elle a précisé qu'il s'agissait d'une erreur de la part des premiers juges qui cependant - à juste titre - n'avaient pas mentionné cette disposition dans la motivation de leur jugement.
Le recourant fait valoir une violation de l'art. 50 CP concernant l'obligation de motiver la fixation de la peine ainsi que des art. 47 et 49 CP (recours ch. 4 p. 19 s.). La critique est infondée. L'arrêt attaqué est parfaitement clair et suffisamment motivé. Comme le Tribunal pénal n'a pas appliqué l'art. 49 CP, mais seulement mentionné cette disposition par erreur dans le dispositif du jugement, la Cour d'appel pouvait sans autre motivation rectifier le dispositif et confirmer la peine prononcée.
4. 4.1 Le recourant invoque une violation de son droit d'être entendu (art. 29 Cst.) et une application arbitraire des art. 42 et 179 CPP/FR par le Tribunal pénal, qui aurait refusé à tort à son avocat de répliquer à la plaidoirie de l'avocat de A._, qui le chargeait. Selon le recourant, le vice n'a pas été guéri en instance de recours, puisque l'avocat de A._ n'a pas réitéré ses reproches devant la Cour d'appel (p. 20-23).
4.2 Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment le droit pour l'intéressé de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique (ATF 135 II 286 consid. 5.1 et les arrêts cités). Pour autant que l'atteinte ne soit pas particulièrement grave, une violation du droit d'être entendu est considérée comme réparée lorsque l'intéressé jouit de la possibilité de s'exprimer librement devant une autorité de recours disposant du même pouvoir d'examen que l'autorité inférieure, et qui peut ainsi contrôler librement l'état de fait et les considérations juridiques de la décision attaquée (cf. ATF 133 I 201 consid. 2.2; 132 V 387 consid. 5.1; 129 I 129 consid. 2.2.3).
Le Tribunal fédéral ne peut revoir les questions de droit cantonal que sous l'angle restreint de l'arbitraire au sens de l'art. 9 Cst. (cf. art. 95 LTF). Conformément à l'art. 106 al. 2 LTF, le Tribunal fédéral n'examine les moyens pris de la violation de droits fondamentaux, ou de la violation de règles de droit cantonal ou intercantonal, que s'ils ont été invoqués et motivés en détail par le recourant (cf. ATF 133 IV 286 consid. 1.4).
4.3 Le recourant ne précise pas quelle était la nature des propos tenus par l'avocat de A._ qui, prétendument, le chargeaient gravement. Il est donc impossible de savoir s'il y a effectivement eu une violation du droit d'être entendu ou une application arbitraire du droit de procédure cantonale. Dès lors, le recours ne satisfait pas aux exigences de motivation de l'art. 106 al. 2 LTF. Le simple fait que le président du Tribunal pénal ait donné la parole au mandataire du recourant, puis immédiatement retiré cette offre sur objections du Ministère public et du mandataire de A._ (cf. arrêt attaqué p. 10), ne viole ni le droit d'être entendu garanti par l'art. 29 al. 2 Cst. ni l'art. 9 Cst. en relation avec les art. 42 et 179 CPP/FR.
Quoi qu'il en soit, le recourant a eu l'occasion de s'exprimer devant la Cour d'appel qui jouit d'un plein pouvoir d'examen. La violation du droit d'être entendu alléguée n'apparaît pas particulièrement grave. Même si, par hypothèse, le mandataire de A._ n'a plus plaidé devant l'instance de recours, le recourant était libre de répondre aux prétendues accusations dans le cadre de son recours. En considérant qu'une éventuelle atteinte au droit d'être entendu aurait en tout état de cause été guérie en procédure d'appel, la Cour cantonale n'a pas violé le droit fédéral.
5. Les conclusions subsidiaires tendant à une nouvelle répartition des frais de la procédure cantonale ne sont pas motivées et donc irrecevables (art. 42 al. 2 et art. 106 al. 2 LTF).
6. Le recours doit être rejeté dans la mesure où il est recevable. Comme il était d'emblée voué à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant, qui succombe, supporte les frais (art. 66 al. 1 LTF), fixés en fonction de sa situation financière (art. 65 al. 2 LTF).
Il n'y a pas lieu d'allouer des dépens à la partie civile, qui n'a pas été invitée à répondre.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 26 avril 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière:
Favre Unseld