Faits:
A. Le 31 août 2007, A._ a déposé une dénonciation pénale contre B._ pour extorsion et chantage ainsi que contrainte, lui reprochant d'avoir exigé de lui un montant de 650'000 francs, en contrepartie de quoi il s'engageait à détruire des pièces prétendument compromettantes concernant des malversations commises par l'intéressé dans le cadre d'une promotion immobilière. Ces propos auraient été tenus le 24 août 2007 lors d'un entretien entre B._ et Me C._, avocat du dénonciateur. Après avoir adressé un courrier à son client le 24 août 2007 - dans lequel il a décrit l'entrevue du jour même qu'il a eue avec B._ et a parlé de "tentative de chantage, respectivement de contrainte" -, Me C._ a déclaré qu'il s'y référait et qu'il refusait d'être entendu par la police, lorsque celle-ci l'a interrogé le 20 septembre 2007. B._ a contesté les faits. La police cantonale valaisanne a rendu un rapport le 19 novembre 2011, après avoir entendu les parties.
Par ordonnance du 30 octobre 2009, le Juge d'instruction du Valais central (ci-après: le Juge d'instruction) a ouvert une instruction d'office contre B._ pour tentative d'extorsion et chantage. Par ordonnance pénale du 7 juin 2010, il a reconnu B._ coupable d'extorsion et de chantage. Celui-ci y a fait opposition. Par ordonnance du 14 juin 2010, le Juge d'instruction a ordonné l'inculpation de B._ et fixé aux parties un délai de dix jours pour requérir un complément d'instruction. Le 2 septembre 2010, le Juge d'instruction a rendu une décision de clôture de l'instruction et a transmis le dossier au Ministère public du canton du Valais, Office régional du Valais central (ci-après: le Ministère public). Par ordonnance du 12 mai 2012, le Ministère public a ordonné le classement de la procédure pénale dirigée contre B._, les éléments constitutifs d'une infraction d'extorsion et de chantage, voire de contrainte, n'étant pas réunis. Il a renvoyé la partie plaignante à faire valoir ses droits devant le Juge civil (art. 320 al. 3 du code de procédure pénale suisse du 5 octobre 2007 [CPP; RS 312.0]).
B. Par ordonnance du 7 décembre 2011, la Chambre pénale du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours formé par A._ contre l'ordonnance du 12 mai 2012.
C. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler l'ordonnance du 7 décembre 2011, sous suite de frais et dépens.
Le Tribunal cantonal et le Ministère public renoncent à se déterminer. B._ conclut au rejet du recours dans la mesure de sa recevabilité. A._ a répliqué par courrier du 26 mars 2012.

Considérant en droit:
1. L'arrêt attaqué confirme le classement de la procédure pénale ouverte à l'encontre de l'intimé. Rendu en matière pénale (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), il met fin à la procédure pénale (<ref-law>). Partant, il peut faire l'objet d'un recours en matière pénale selon les <ref-law>.
1.1 Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>.
1.1.1 Selon l'<ref-law>, il incombe notamment au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir lorsque ces faits ne ressortent pas à l'évidence de la décision attaquée ou du dossier de la cause (cf. <ref-ruling> consid. 1 p. 356, 249 consid. 1.1 p. 251).
Lorsque le recours est dirigé contre une décision de classement de l'action pénale, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles (<ref-ruling> consid. 1.3.1 p. 248). En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir contre l'intimé à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse déduire directement et sans ambiguïté quelles prétentions civiles pourraient être élevées et en quoi la décision attaquée pourrait influencer négativement leur jugement (<ref-ruling> consid. 2.4 p. 222 et les arrêts cités).
1.1.2 En l'espèce, le recourant n'indique pas quelles prétentions civiles il entend faire valoir ni en quoi la décision de classement du Ministère public pourrait influencer négativement un jugement sur ce point. On ne voit pas d'emblée et sans ambiguïté les prétentions civiles susceptibles d'être invoquées, de sorte que la qualité pour agir ne saurait être reconnue au recourant sur la base de l'art. 81 al. 1 let. b ch. 5 LTF. La contestation ne portant pas sur le droit de porter plainte, l'intéressé n'a pas non plus la qualité pour recourir en vertu de l'art. 81 al. 1 let. b ch. 6 LTF.
Il s'ensuit que le recours est irrecevable en tant qu'il porte sur le fond. Le recourant ne peut dès lors pas remettre en cause le refus de reprendre l'instruction en critiquant l'appréciation des faits et leur qualification juridique par les autorités cantonales.
2. Selon la jurisprudence, le plaignant qui n'a pas la qualité pour recourir sur le fond peut en revanche se plaindre d'une violation des droits que la loi de procédure applicable ou le droit constitutionnel lui reconnaît comme partie à la procédure, lorsque cette violation équivaut à un déni de justice formel (<ref-ruling> consid. 1.4 p. 44, 29 consid. 1.9 p. 40; <ref-ruling> consid. 2.3.2 p. 232 s. et les références citées). Le droit d'invoquer des garanties procédurales ne lui permet cependant pas de mettre en cause, même de façon indirecte, le jugement au fond. Son recours ne peut donc pas porter sur des points indissociables de ce jugement tels que le refus d'administrer une preuve sur la base d'une appréciation anticipée de celle-ci ou le devoir de l'autorité de motiver sa décision de façon suffisamment détaillée (<ref-ruling> consid. 1.2 p. 326; <ref-ruling> consid. 1.4 p. 44 et les arrêts cités).
2.1 A ce titre, le recourant se plaint d'une violation de son droit à faire administrer les preuves en relevant que le Ministère public n'a pas intimé un délai aux parties pour solliciter des moyens de preuve complémentaires, avant de rendre son ordonnance de classement. Si tel avait été le cas, il aurait pu solliciter l'audition de son ancien avocat, Me C._.
2.1.1 Le droit d'être entendu comprend le droit pour l'intéressé d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293 et les arrêts cités).
A teneur de l'<ref-law>, lorsqu'il estime que l'instruction est complète, le Ministère public rend une ordonnance pénale ou informe par écrit les parties dont le domicile est connu de la clôture prochaine de l'instruction et leur indique s'il entend rendre une ordonnance de mise en accusation ou une ordonnance de classement. En même temps, il fixe aux parties un délai pour présenter leurs réquisitions de preuves.
Si le procureur n'a pas respecté les formes prévues à l'<ref-law> pour la clôture, la décision qu'il rend ensuite (classement, renvoi) est annulable (Pierre Cornu, in Commentaire romand, Code de procédure pénale suisse, 2011, n. 23 ad <ref-law>).
2.1.2 En l'espèce, le Juge d'instruction avait prononcé une ordonnance pénale condamnant l'intimé, le 7 juin 2010. Ensuite de l'opposition que celui-ci avait formée contre cette ordonnance, une ordonnance d'inculpation avait été prononcée contre l'intimé, sans que celui-ci ne sollicite la mise en oeuvre de moyens de preuves complémentaires. Dans ces circonstances, le recourant pouvait partir du principe que le Ministère public entendait poursuivre dans la volonté de faire condamner l'intimé. Or, le Ministère public a rendu une ordonnance de classement fondée sur l'<ref-law>, sans avoir interpellé les parties et sans avoir administré de preuves supplémentaires. En omettant d'informer les parties de ses intentions (ordonnance pénale, ordonnance de mise en accusation ou ordonnance de classement) et en ne leur fixant pas de délai pour déposer d'éventuelles réquisitions de preuves, le Ministère public a violé l'<ref-law>.
Dès que la question s'est trouvée régie par le nouveau CPP, il appartenait en effet au Ministère public de respecter l'<ref-law> avant de classer la procédure (<ref-law>). La nécessité d'informer et d'interpeller les parties s'imposait en l'espèce d'autant plus que l'accusation repose essentiellement sur les déclarations de l'avocat C._; or, à part un contact téléphonique avec la police le 20 septembre 2007, celui-ci n'a jamais été convoqué, que ce soit à la demande d'une partie ou du procureur; on ignore ainsi quelle position il adopterait si une convocation lui parvenait.
Par ailleurs, sans traiter du fond de l'affaire, il paraît difficile à ce stade de retenir qu'il n'existe aucun soupçon justifiant une mise en accusation (<ref-law>) sans procéder à un acte d'instruction supplémentaire, dans la mesure où les autorités de poursuite valaisannes ont déjà rendu une ordonnance pénale de condamnation.
En définitive, il apparaît que le recourant n'a pas eu l'occasion de présenter ses moyens de preuve, de sorte qu'il y a violation de son droit d'être entendu. Le recours doit être admis pour ce motif formel.
3. Le recours est par conséquent admis, sans qu'il soit nécessaire d'examiner le grief relatif à la violation de la garantie d'un tribunal indépendant et impartial. L'arrêt attaqué est annulé et la cause renvoyée au Ministère public pour qu'il procède conformément à l'<ref-law>. Conformément aux art. 66 al. 1 et 68 al. 2 LTF, les frais de la cause, ainsi que l'indemnité de dépens à laquelle le recourant a droit, sont mis à la charge de l'intimé. Il appartiendra à la cour cantonale de statuer sur le sort des frais et dépens cantonaux dans une nouvelle décision.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée au Ministère public pour nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge de l'intimé.
3. Une indemnité de dépens de 2'000 francs est allouée au recourant, à la charge de l'intimé.
4. Le présent arrêt est communiqué aux mandataires du recourant et de l'intimé, au Ministère public du canton du Valais, Office régional du Valais central, ainsi qu'au Tribunal cantonal du canton du Valais, Chambre pénale.
Lausanne, le 31 mai 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller