Faits:
A. Le 4 mai 2011, A._ et B._ ont déposé une plainte pénale contre inconnu pour délit manqué d'extorsion et/ou de contrainte.
Cette plainte s'inscrit dans le cadre d'une demande en paiement de 4'808'636 fr. plus intérêts de droit déposée en décembre 2005 auprès du Tribunal civil de la Gruyère par X._, Y._ et Z._ (ci-après les banques) contre différentes personnes physiques et morales, dont B._. Des transactions judiciaires ont été conclues entre les banques et tous les défendeurs, à l'exception de B._ contre laquelle la procédure civile se poursuit. A la suite de deux recours successifs auprès du Tribunal cantonal du canton de Fribourg (ci-après le Tribunal cantonal) et du Tribunal fédéral, les dépens arrêtés à charge des défendeurs ont été fixés à 77'382 fr. 50 au total. Comme l'entier de ces dépens n'a pas été versé, les banques ont fait notifier à B._ un commandement de payer (poursuite n° 1279927 de l'Office des poursuites de la Sarine) portant sur la somme de 44'510 fr. 95 avec intérêts à 5% l'an dès le 16 octobre 2010. Après une commination de faillite, B._ s'est acquittée du solde dû.
Malgré le paiement, les banques ont refusé de retirer la poursuite précitée, un tel retrait ne pouvant, selon elles, intervenir que dans le cadre d'une transaction. L'extrait de l'Office des poursuites mentionne que la poursuite litigieuse a été acquittée dans sa totalité par B._. A._ et B._ soutiennent que le maintien de cette poursuite avait pour but de porter préjudice à l'entreprise dans ses rapports commerciaux et de l'obliger à formuler une offre transactionnelle dans la procédure pendante auprès du Tribunal civil de la Gruyère.
B. Par ordonnance du 14 décembre 2011, le Ministère public de l'Etat de Fribourg a classé la plainte déposée par A._ et B._, l'instruction étant en définitive dirigée contre un collaborateur de chacune des banques concernées. Il a considéré que les infractions dénoncées n'étaient pas réalisées.
Par arrêt du 19 mars 2012, la Chambre pénale du Tribunal cantonal a rejeté le recours formé par les plaignants. Elle est également arrivée à la conclusion que les conditions d'application des art. 156 et 181 CP n'étaient pas réalisées. En outre, elle a estimé que les actes d'instruction requis ne permettraient pas d'établir que le montant réclamé par les banques auprès du juge civil n'était pas dû.
C. Agissant par la voie du recours en matière pénale, A._ et B._ demandent au Tribunal fédéral d'annuler l'arrêt du 19 mars 2012, de renvoyer l'affaire au Ministère public du canton de Fribourg pour instruction et de dire que trois personnes physiques nommément désignées seront entendues, le tout avec suite de frais et dépens à la charge de l'Etat de Fribourg.
Le Ministère public et les trois collaborateurs des banques concluent au rejet du recours, tandis que la cour cantonale renonce à se déterminer. Les recourants ont encore répliqué dans des observations du 6 juin 2012.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis.
1.1 L'arrêt attaqué confirme le classement de la procédure pénale ouverte à la suite de la plainte déposée par les recourants. Rendu en matière pénale (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), il met fin à la procédure pénale (<ref-law>). Partant, il peut faire l'objet d'un recours en matière pénale selon les <ref-law>.
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>. Selon l'<ref-law>, il incombe notamment au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque, comme en l'espèce, le recours est dirigé contre une décision de classement, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles. En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir contre l'intimé à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse le déduire directement et sans ambiguïté (arrêt 1B_687/2011 destiné à publication, consid. 3 et les arrêts cités).
1.2 Les recourants ne s'expriment absolument pas sur la question des éventuelles prétentions civiles qu'ils pourraient faire valoir en cas de condamnation pénale dans la présente procédure.
Dans le chapitre dévolu à la recevabilité de leur recours, ils se bornent à affirmer péremptoirement qu'ils ont qualité pour recourir, se référant à leur constitution de partie civile et pénale devant les autorités cantonales. Dans le corps de leur mémoire, ils allèguent - sans référence à la décision querellée ou à des pièces du dossier - que le maintien de l'inscription d'une poursuite leur ferait "manquer une affaire de plusieurs dizaines de milliers de francs" et constituerait "pour B._, plus particulièrement pour sa vingtaine d'ouvriers, un dommage sérieux". Ils évoquent également la situation des personnes assignées en paiement par les banques devant le juge civil, soutenant que ces personnes pourraient "tomber malades à cause de cette affaire".
1.3 De telles allégations ne démontrent pas l'existence de prétentions civiles des recourants, dont le sort serait lié à la poursuite des infractions de délit manqué d'extorsion et/ou de contrainte. Il ne ressort en particulier pas de la décision attaquée que le maintien de la poursuite - dont le fondement même n'est pas contesté - aurait porté préjudice aux intérêts de l'entreprise recourante ou de ses dirigeants. Quant aux conséquences de la procédure de poursuite sur la santé de personnes physiques, d'ailleurs non précisément désignées, il s'agit de pures conjectures, qui n'ont pas même été évoquées par les juges précédents. Enfin, les recourants n'indiquent pas vouloir obtenir une éventuelle réparation de leur tort moral, celle-ci ne s'imposant au demeurant pas d'emblée.
Par conséquent, les recourants n'ont pas qualité pour recourir auprès du Tribunal fédéral contre le classement litigieux, de sorte que leur recours doit être déclaré irrecevable. Pour le surplus, ils ne se plaignent pas d'une violation de leurs droits de parties à la procédure qui leur sont reconnus par le droit cantonal, le droit constitutionnel fédéral ou le droit conventionnel (<ref-ruling> consid. 1.4 p. 44 et les arrêts cités). Ils se plaignent certes d'une appréciation arbitraire des faits et du refus d'administrer certaines preuves, jugées sans pertinence par la cour cantonale: il s'agit là cependant de moyens indissociables du jugement sur le fond et qui sont par conséquent irrecevables (<ref-ruling> consid. 1.2 p. 326; <ref-ruling> consid. 1.4 p. 44 et les arrêts cités).
2. Au vu de ce qui précède, le recours doit être déclaré irrecevable. Dès lors, un émolument judiciaire est mis à la charge des recourants (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants.
3. Le présent arrêt est communiqué aux parties, au Ministère public et au Tribunal cantonal du canton de Fribourg, Chambre pénale.
Lausanne, le 22 juin 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller