Faits:
A. Par jugement du 12 mai 2011, statuant sur l'appel formé par X._ contre la décision rendue par le juge pénal du Tribunal de première instance de Porrentruy le 8 septembre 2010, la Cour pénale du Tribunal cantonal jurassien a reconnu le précité coupable de contrainte et menaces et l'a libéré de la prévention de voies de fait, cette infraction étant englobée dans celle de contrainte, de sorte que l'<ref-law> n'était pas applicable. Il l'a condamné à une peine pécuniaire de 29 jours-amende, à 30 francs le jour, sous déduction de la détention subie avant jugement, soit 29 jours, et il l'a débouté de toute autre conclusion. Cette condamnation repose, en bref, sur les éléments suivants.
A.a Y._ et X._ se sont rencontrés en 2001. A la suite de leur mariage le 1er décembre 2005, de fréquentes disputes ont émaillé la vie commune des époux, dont le divorce a été prononcé le 1er décembre 2008. Y._ a déposé plusieurs plaintes pénales contre X._ qui a été reconnu coupable, en dernier lieu, de menaces et voies de fait par la Cour pénale du Tribunal cantonal jurassien le 20 janvier 2010 pour des faits datant de 2008 et janvier 2009 (décision confirmée par le Tribunal fédéral par arrêt 6B_234/2010 du 4 janvier 2011).
A.b Le 20 août 2009, vers 11h45, à A._, X._ a croisé Y._sur un chemin situé à proximité du lieu où celle-ci travaille. Il l'a empêchée de passer durant environ deux minutes et l'a saisie par les bras tout en la poussant. Il lui a dit qu'elle paierait pour le fait qu'il était allé en prison et lui a demandé pourquoi elle ne quittait pas la région. Y._ a tenté de se défendre avec son sac. Ils ont finalement été séparés par un collègue de travail de celle-ci, Z._, qui passait à proximité et qu'elle avait appelé. Selon ce dernier, Y._ avait très peur et elle tremblait. Elle s'est rendue en début d'après-midi à l'hôpital, où il a été constaté qu'elle présentait un état d'anxiété. Il avait été fait interdiction à X._, en 2008, de contacter ou d'importuner Y._, de quelque manière que ce soit, directement ou indirectement, de chercher à lui parler en cas de rencontre fortuite et de se trouver, notamment, aux abords de l'entreprise dans laquelle elle est employée. Cette règle de conduite était toujours en vigueur le 20 août 2009.
B. X._ interjette un recours en matière pénale devant le Tribunal fédéral contre ce jugement. Il conclut à ce qu'il soit acquitté de toutes les préventions dont il fait l'objet et à ce que des sommes de 2'000 francs à titre d'indemnité pour tort moral et de 5'800 francs à titre d'indemnité pour détention injustifiée lui soient allouées. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale. Il sollicite l'octroi de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le Tribunal fédéral examine librement et d'office la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 438, 497 consid. 3 p. 499).
1.1 Le recours a été déposé le 20 juin 2011, soit dans les 30 jours qui suivent la notification de l'expédition complète de la décision attaquée intervenue le 19 mai précédent (<ref-law>). Il ne peut en revanche être tenu compte des courriers adressés au Tribunal fédéral le 15 août 2011 par le recourant en personne et le 19 août 2011 par son représentant dans la mesure où ils ont été produits hors délai, sans qu'un deuxième échange d'écritures n'ait été ordonné.
1.2 En tant que le recourant réclame son acquittement du chef de voies de fait, le recours est irrecevable, faute d'intérêt juridiquement protégé à l'annulation ou à la modification de la décision attaquée (<ref-law>), puisque formellement, celle-ci libère l'intéressé de cette infraction (cf. <ref-ruling> consid. 2d p. 141; arrêt 6S.121/2007 du 24 juillet 2007 consid. 14), même si c'est au motif qu'elle est englobée dans une autre, et non pour défaut de prévention. Il sera en revanche examiné ci-dessous si les actes reprochés ont été établis de manière arbitraire par l'autorité cantonale (cf. consid. 2.1), comme le soutient le recourant, et s'ils sont constitutifs de contrainte au sens de l'<ref-law> (cf. consid. 2.2).
1.3 Invoquant une violation du principe de l'accusation (art. 29 al. 2 Cst.), le recourant fait valoir que l'infraction de contrainte dont il a été reconnu coupable repose sur des faits différents de ceux qui figuraient dans l'acte d'accusation. Aux termes de celui-ci, il était reproché au recourant d'avoir, à de nombreuses reprises, en ville de A._, entre janvier 2009 et le 26 août 2009, suivi la plaignante lors de ses déplacements et de l'avoir attendue devant l'école de sa fille et devant son lieu de travail, malgré l'interdiction de prendre contact avec elle et l'interdiction de périmètre qui lui avait été faite, à au moins deux reprises, exerçant ainsi une pression psychologique sur la plaignante, qui l'avait obligée à changer ses habitudes en matière de déplacement notamment.
En tant que la critique est dirigée contre le jugement du Tribunal de première instance de Porrentruy, elle est irrecevable, seul l'arrêt de la Cour pénale du Tribunal cantonal pouvant faire l'objet d'un recours en matière pénale (cf. <ref-law>). De plus, le recourant n'ayant pas invoqué dans son appel ce grief, sur lequel la cour cantonale ne s'est pas prononcée, il convient d'examiner la recevabilité de ce moyen nouveau.
1.3.1 Il découle du principe de l'épuisement préalable des voies de droit cantonal, consacré à l'<ref-law>, que seuls sont recevables devant le Tribunal fédéral les griefs qui, pouvant l'être, ont été présentés à l'autorité cantonale de dernière instance (<ref-ruling> consid. 2.1 p. 93). La jurisprudence admet toutefois la recevabilité de moyens de droit nouveaux lorsque l'autorité cantonale de dernière instance disposait d'un pouvoir d'examen libre et devait appliquer le droit d'office (<ref-ruling> consid. 2.1.1 p. 33). Cela vaut plus particulièrement pour les moyens fondés sur le droit matériel. En revanche, les nouveaux moyens de droit fondés sur le droit constitutionnel, qui sont soumis au principe d'allégation (<ref-law>), sont exclus en vertu du principe de la bonne foi et du principe de l'épuisement des griefs (<ref-ruling> consid. 2; arrêt 5A_149/2011 du 6 juillet 2011 consid. 4.2).
1.3.2 Le juge pénal du Tribunal de première instance a considéré que l'infraction de contrainte était réalisée au motif que le recourant avait entravé la liberté d'action de la plaignante en l'empêchant de se déplacer comme elle l'entendait sur le bord de la rivière. Une telle formulation était claire et ne prêtait pas à interprétation. Ainsi, dans la mesure où il s'y estimait fondé, le recourant se devait, dans le cadre de son appel (cf. art. 323 de l'ancien Code de procédure pénale de la République et canton du Jura du 13 décembre 1990 - CPP/JU; RS/JU 321.1), de faire valoir une violation du principe d'accusation, sous peine d'agir de manière contraire à la bonne foi et de ne pas épuiser les instances cantonales. Partant, le grief est irrecevable au regard de l'<ref-law>.
Au demeurant, lorsqu'elle n'est pas particulièrement grave, une violation du droit d'être entendu (art. 29 al. 2 Cst.) - dont le principe d'accusation est une composante (cf. <ref-ruling> consid. 6.2 p. 244) - peut être réparée dans le cadre d'un recours si l'intéressé a eu l'occasion de se faire entendre par l'autorité saisie du recours et si la cognition de cette autorité n'est pas moindre que celle de l'autorité qui a statué en première instance (<ref-ruling> consid. 2.3.2 p. 197 s.; <ref-ruling> consid. 4.2.2.2 p. 126 s.; <ref-ruling> consid. 2.2 p. 204 s.). Or, en l'espèce, aucune violation grave du droit d'être entendu du recourant ne pourrait, en tout état de cause, être retenue puisque l'acte d'accusation vise notamment le jour et le lieu où s'est produite l'infraction dont l'intéressé a été reconnu coupable ainsi que le fait qu'il a entravé la plaignante dans ses déplacements. Le recourant a en outre eu l'occasion, en appel, de contester, par écrit, l'infraction retenue à sa charge avant que l'autorité cantonale statue.
2. Le recourant invoque une violation de l'<ref-law>.
2.1 A l'appui de son grief, il fait valoir en premier lieu une appréciation arbitraire des preuves dans la mesure où il ne serait pas établi qu'il a saisi la plaignante par les bras tout en la faisant reculer vers la rivière. Par sa critique, ce n'est toutefois pas tant le fait qu'il l'a saisie qu'il conteste, puisqu'il l'admet (cf. recours ch. 5.3 in fine p. 14), mais bien plus le fait qu'il l'a poussée.
2.1.1 Dans le recours en matière pénale, les faits constatés par l'autorité précédente lient le Tribunal fédéral (<ref-law>), à moins qu'ils n'aient été établis en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit essentiellement de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, v. <ref-ruling> consid. 2.4 p. 5), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2 p. 591 s.).
2.1.2 La cour cantonale a considéré que les déclarations de la plaignante étaient globalement précises et constantes. Ses explications sur le déroulement des faits étaient claires et sincères, dans la mesure où elle n'avait pas cherché à exagérer les circonstances de l'altercation ou à charger le recourant et où elle avait admis avoir crevé un pneu de la voiture de celui-ci en quittant les lieux, alors qu'aucun élément matériel ne l'incriminait. Les déclarations du recourant n'étaient, quant à elles, pas convaincantes. Selon lui, il s'était trouvé par hasard à proximité du lieu de travail de la plaignante, ce qui était surprenant alors que celle-ci avait justement repris son travail deux jours plus tôt. Ses propos, empreints de menaces voilées ("je vous dis qu'un jour quelqu'un va payer, mais je ne sais pas qui"), dénotaient en outre un dessein de vengeance. Il avait varié dans ses déclarations puisqu'il avait nié dans un premier temps avoir touché la plaignante avant d'admettre que c'était possible, ses explications étaient parfois confuses et il avait reconnu à plusieurs reprises être malade et désirer se soigner. Enfin, les déclarations de la plaignante étaient confirmées par celles d'un témoin, Z._. Ses relations avec la précitée n'étaient pas d'une intensité suffisante pour discréditer ses dires, même s'il la connaissait mieux que d'autres collègues puisqu'ils avaient suivi ensemble un cours.
2.1.3 A l'appui de son grief, le recourant conteste que les déclarations de la plaignante auraient été constantes puisqu'elles seraient contradictoires dans la mesure où, lors de sa seconde audition, elle n'avait pas déclaré qu'il l'avait empoignée. Toutefois, même si elle a varié dans la formulation de ses explications, celles-ci ont été constantes sur le fond quant aux éléments essentiels, comme cela ressort tant de sa déclaration à la police ("il m'a pris les mains en me dirigeant contre la rivière", p. A.1.15), que de celle au juge d'instruction ("il a commencé à me pousser vers la rivière", p. E.10). Il n'était ainsi pas arbitraire de considérer que le recourant avait exercé une force physique sur la plaignante. Il n'est par ailleurs pas déterminant que ce soit en direction de la rivière que le recourant ait dirigé la plaignante puisque l'autorité cantonale n'a retenu d'aucune manière qu'il aurait tenté de l'y précipiter.
Le recourant fait également valoir que la plaignante aurait l'habitude de tenir des propos pas conformes à la vérité. Il s'appuie toutefois, pour l'essentiel, sur des éléments qui ne figurent pas dans l'état de fait cantonal, sans démontrer en quoi celui-ci présenterait des lacunes procédant d'une constatation manifestement inexacte ou en violation du droit au sens des art. 97 al. 1 et 105 al. 2 LTF. Son grief est donc irrecevable à cet égard. Au demeurant, en affirmant qu'il est déjà arrivé à la plaignante de mentir par le passé, le recourant ne démontre pas encore qu'il était arbitraire de retenir, dans le cas d'espèce, sa version des faits.
Enfin, le recourant ne conteste pas que les dires du témoin Z._ confirment la version des faits de la plaignante et il ne remet pas en cause, d'une manière ou d'une autre, leur valeur probante. Il mentionne certes que le témoin connaît bien celle-ci, sans pour autant soutenir, à juste titre, que cette circonstance permettrait de considérer qu'il était inadmissible de tenir ses déclarations pour conformes à la vérité. Il ne conteste en outre pas que ses propres explications étaient confuses et avaient varié sur le point même qu'il conteste. Le recourant n'a ainsi pas démontré, par son argumentation, que la décision entreprise serait arbitraire en tant qu'elle s'est fondée sur les explications de la plaignante et du témoin pour retenir qu'il avait saisi celle-ci par les bras tout en la poussant.
2.2 Le recourant conteste ensuite la réalisation des conditions objectives de l'infraction de contrainte au motif qu'il n'a pas fait preuve de violence à l'encontre de la plaignante et qu'il ne l'a pas entravée "de quelque autre manière dans sa liberté d'action".
2.2.1 Se rend coupable de contrainte au sens de l'<ref-law>, celui qui, en usant de violence envers une personne ou en la menaçant d'un dommage sérieux ou en l'entravant de quelque autre manière dans sa liberté d'action, l'aura obligée à faire, à ne pas faire ou à laisser faire un acte. Cette disposition protège la liberté d'action et de décision (<ref-ruling> consid. 2.1 p. 8). La contrainte est une infraction de résultat qui n'est consommée que si la personne visée a commencé à adopter le comportement imposé par le moyen de pression (Bernard Corboz, Les infractions en droit suisse, 3ème éd., 2010, n. 34 ad <ref-law>).
La violence consiste dans l'emploi d'une force physique d'une certaine intensité à l'encontre de la victime. Il s'agit d'une notion relative dans la mesure où il suffit qu'elle permette de briser la volonté de celle-ci (<ref-ruling> consid. 3a p. 44). En outre, pour que la victime soit entravée "de quelque autre manière" dans sa liberté d'action, n'importe quelle pression de peu d'importance ne suffit pas. Cette formule générale doit être interprétée de manière restrictive. Il faut que le moyen de contrainte utilisé soit, comme pour la violence ou la menace d'un dommage sérieux, propre à impressionner une personne de sensibilité moyenne et à l'entraver d'une manière substantielle dans sa liberté de décision ou d'action. Il s'agit donc de moyens de contrainte qui, par leur intensité et leur effet, sont analogues à ceux qui sont cités expressément par la loi (<ref-ruling> consid. 4.1 p. 218). La contrainte est illicite lorsque le moyen ou le but est contraire au droit ou encore lorsque le moyen est disproportionné pour atteindre le but visé (<ref-ruling> consid. 4.1; <ref-ruling> consid. 3.4; <ref-ruling> consid. 2b).
2.2.2 La cour cantonale a admis la réalisation de l'infraction de contrainte au motif que le recourant avait diminué la liberté de mouvement et d'action de la plaignante en l'empêchant d'avancer, puis en la saisissant fermement par les bras et en la poussant, un tel acte devant être qualifié de voies de fait , dans le but de la contraindre à avoir une explication avec lui (cf. jugement entrepris consid. 8.2 p. 24, avec renvoi au consid. 6.3 p. 20). Elle a ainsi considéré que le recourant avait fait preuve de violence.
Celui-ci conteste pour sa part avoir usé de violence ou d'un autre moyen au sens de l'<ref-law> puisqu'il a simplement marché à côté, puis devant la plaignante, sans l'empêcher de se déplacer. Le recourant fonde ainsi sa critique sur une autre version des faits que celle retenue par les juges cantonaux. Dans la mesure où il n'a démontré aucun arbitraire dans l'appréciation des preuves et l'établissement des faits (cf. supra consid. 2.1.3), son grief est irrecevable.
2.2.3 Décrit comme étant de grande taille, le recourant a retenu la plaignante par les bras, d'une manière suffisamment forte pour la pousser, alors même que celle-ci opposait une résistance en se protégeant avec son sac, ce qui lui a permis d'empêcher l'intéressée de poursuivre son chemin. En outre, la plaignante tremblait et elle a ressenti le besoin de se rendre à l'hôpital, même si elle ne présentait pas de lésion physique, ce qui démontre la virulence dont a fait preuve le recourant.
Au vu des faits précités, c'est à bon droit que l'autorité précédente a considéré que les actes du recourant représentaient des voies de fait, constitutives, en l'espèce, de violence au sens de l'<ref-law> dans la mesure où elles avaient permis de briser la volonté de la plaignante. Le comportement du recourant est en outre illicite puisqu'il a privé celle-ci de sa liberté de mouvement, sans qu'il puisse se prévaloir d'un droit quelconque, alors qu'il lui avait été fait interdiction de se trouver aux abords de l'entreprise dans laquelle la précitée est employée, de chercher à lui parler en cas de rencontre fortuite et de l'importuner, de quelque manière que ce soit. Le recourant ne conteste par ailleurs pas que son acte était destiné à lui permettre d'avoir une conversation avec elle, contre son gré, et que celle-ci a eu lieu. Enfin, l'élément subjectif de l'infraction, à savoir l'intention, est donné, ce que le recourant ne conteste pas davantage. La cour cantonale n'a dès lors pas violé le droit fédéral en admettant la réalisation de l'infraction de contrainte.
3. Le recourant invoque une violation de l'<ref-law>.
3.1 Cette disposition réprime le comportement de celui qui, par une menace grave, aura alarmé ou effrayé une personne. La punition de l'auteur dépend de la réalisation de deux conditions. Il faut, d'une part, que l'auteur ait émis une menace grave et, d'autre part, que la victime ait été alarmée ou effrayée. Une menace est qualifiée de grave si elle est objectivement de nature à alarmer ou à effrayer la victime. Il faut donc se demander si une personne raisonnable, dotée d'une résistance psychologique plus ou moins normale, aurait ressenti la menace comme grave (<ref-ruling> consid. 1a p. 215 s.).
3.2 A l'appui de son grief, le recourant fait valoir que dans ses différentes déclarations en justice, la plaignante n'a jamais indiqué qu'il lui avait dit qu'elle paierait pour le fait qu'il était allé en prison. Il fallait dès lors admettre qu'elle n'avait pas entendu ces paroles - qu'il a pour sa part admis avoir prononcées (cf. jugement entrepris, consid. D.5.1 p. 6) - et qu'elle n'avait donc pas pu être alarmée par celles-ci.
Il ressort pourtant des constatations cantonales que la plaignante a expressément tenu les propos litigieux lors de l'audience qui s'est tenue le 8 septembre 2010 devant le juge pénal du Tribunal de première instance (cf. jugement entrepris, consid. G.1 p. 12). Par son argumentation, le recourant s'écarte donc des constatations cantonales. Il ne prend toutefois pas la peine de tenter de démontrer, conformément aux exigences accrues de motivation de l'<ref-law>, en quoi les faits auraient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> sur ce point. Le grief, basé sur des faits qui s'écartent des constatations cantonales, est irrecevable.
3.3 Ainsi que la cour cantonale l'a rappelé, le recourant avait déjà été condamné, par le passé, pour voies de faits et injures commises au préjudice de la plaignante et à l'époque des faits, il persistait à enfreindre les règles de conduite qui lui étaient imposées. En outre, lorsqu'il a rencontré la plaignante, il n'a pas passé son chemin, mais il lui a immédiatement dit qu'elle paierait le fait qu'il était allé en prison. De tels propos pouvaient être compris comme une menace grave à l'intégrité physique par une personne raisonnable et le comportement du recourant était ainsi de nature à alarmer ou à effrayer la plaignante, qui connaissait bien le caractère de son ex-mari. Tel a d'ailleurs été le cas puisque le témoin Z._ a déclaré qu'elle avait eu très peur et qu'elle tremblait et qu'il ressort des constatations du médecin consulté le jour même par la plaignante que celle-ci présentait un état d'anxiété. Dès lors, c'est sans violer le droit fédéral que la Cour pénale a reconnu le recourant coupable de menaces.
4. Les conclusions du recourant tendant à son acquittement doivent être rejetées, dans la mesure où elles sont recevables. Celles tendant à ce qu'une indemnité lui soit allouée, d'une part en vertu de l'art. 297 aCPP/JU au motif que sa détention était injustifiée et, d'autre part, pour tort moral en raison du fait qu'il aurait été bouleversé par le dépôt à son encontre d'une plainte sans fondement et de la procédure qui s'en est suivie, doivent donc l'être également.
5. Le recours était d'emblée dépourvu de chances de succès, de sorte que l'assistance judiciaire doit être refusée (<ref-law>). Le recourant, qui succombe, supportera les frais de justice qui seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'600 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal de la République et canton du Jura.
Lausanne, le 6 octobre 2011
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant: Schneider
Le Greffier: Rieben