Faits:
A. Le 15 juin 2011, A._ a déposé plainte pénale auprès du Ministère public de l'arrondissement de Lausanne contre B._, la fille de celle-ci, C._, et leur architecte, D._, pour extorsion et chantage. Il exposait être actif dans un projet immobilier à Palézieux (Vaud), projet auquel B._, assistée de sa fille et de leur architecte, avait formé opposition; sur proposition de celles-ci, il avait versé à l'opposante, le 29 juin 2010, la somme de 40'000 fr. pour obtenir le retrait de l'opposition. Estimant avoir été victime d'une infraction pénale, il avait ensuite réclamé en vain la restitution de la somme de 40'000 francs.
Après avoir fait procéder à l'audition de D._ par la police, le Ministère public du canton de Genève - qui a accepté le for et auquel a été transmis le dossier - a décidé, par ordonnance du 30 août 2012, de ne pas entrer en matière. Par arrêt du 19 octobre 2012, la Chambre pénale de recours de la Cour de justice a rejeté le recours de A._ contre cette décision.
B. Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt cantonal, d'ordonner au Ministère public genevois d'ouvrir une enquête et de renvoyer le dossier audit Ministère public. A titre subsidiaire, il demande le renvoi à la cour cantonale afin qu'elle rende une nouvelle décision.
La Chambre pénale de recours de la Cour de justice renonce à se déterminer et se réfère aux considérants de son arrêt. Le Ministère public conclut au rejet du recours. Les intimées concluent au rejet du recours avec suite de frais et dépens. Le recourant s'est encore déterminé par écriture du 31 janvier 2013.
Considérant en droit:
1. L'arrêt attaqué confirme la décision de non-entrée en matière dans la présente procédure pénale. Rendu en matière pénale (art. 78 al. 1 LTF) par une autorité cantonale de dernière instance (art. 80 al. 1 LTF), il met fin à la procédure pénale (art. 90 LTF). Partant, il peut faire l'objet d'un recours en matière pénale selon les art. 78 ss LTF.
Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles (ATF 137 IV 246 consid. 1.3.1 p. 248). En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir contre l'intimé à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse déduire directement et sans ambiguïté quelles prétentions civiles pourraient être élevées et en quoi la décision attaquée pourrait influencer négativement leur jugement (ATF 137 IV 219 consid. 2.4 p. 222 et les arrêts cités).
En l'espèce, le recourant a pris part à la procédure devant le Tribunal cantonal et prétend au remboursement de la somme de 40'000 fr. versée - selon lui indûment - aux intimées. Il a dès lors qualité pour agir au sens de l'art. 81 al. 1 LTF.
2. Le Tribunal fédéral examine librement la violation du droit fédéral qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Il y procède en se fondant sur les faits établis par l'autorité précédente (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 136 II 304 consid. 2.4 p. 314) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; ATF 135 II 313 consid 5.2.2 p. 322 s.). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (ATF 137 II 353 consid. 5.1 p. 356 et les arrêts cités).
Sous un chapitre "en fait", le recourant énonce différents éléments factuels, sans critiquer les constatations qu'a opérées la cour cantonale sur ces points. Il met certes en relation ses propres affirmations avec des pièces de la procédure, mais cette présentation n'a qu'un caractère appellatoire; elle ne démontre de surcroît pas, sur tous les points qu'elle aborde, en quoi la cour cantonale aurait versé dans l'arbitraire en établissant son état de fait. Le Tribunal fédéral statuera donc uniquement sur la base des faits retenus dans la décision attaquée (art. 105 al. 1 LTF).
3. Le recourant voit une violation de l'art. 310 al. 1 CPP dans la décision de la cour cantonale de ne pas entrer en matière sur sa plainte. A le suivre, il n'est pas possible de conclure en l'espèce à l'absence manifeste de réalisation des éléments constitutifs de l'art. 156 CP.
3.1 Selon l'art. 310 CPP, le Ministère public rend immédiatement une ordonnance de non-entrée en matière s'il ressort de la dénonciation ou du rapport de police que les éléments constitutifs de l'infraction ou les conditions à l'ouverture de l'action pénale ne sont manifestement pas réunis (let. a). Il peut faire de même en cas d'empêchement de procéder (let. b) ou en application de l'art. 8 CPP (let. c). Le Ministère public doit ainsi être certain que les faits ne sont pas punissables (ATF 137 IV 285 consid. 2.3 p. 287 et les références citées).
Le principe "in dubio pro duriore" découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; ATF 138 IV 86 consid. 4.2 p. 91). Il signifie qu'en principe, un classement ou une non-entrée en matière ne peuvent être prononcés par le Ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le Ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (ATF 138 IV 86 consid. 4.1.2 p. 91; 137 IV 285 consid. 2.5 p. 288). Une non-entrée en matière s'impose lorsque le litige est de nature purement civile (ATF 137 IV 285 consid. 2.3 p. 287).
3.2 La cour cantonale a rappelé que l'infraction d'extorsion et de chantage supposait notamment l'utilisation d'un moyen de contrainte, la présence d'un acte préjudiciable aux intérêts pécuniaires de la victime ainsi qu'un dessein d'enrichissement illégitime de la part de l'auteur. Elle s'est ensuite référée à la jurisprudence à teneur de laquelle il n'y a commercialisation immorale de la position de l'opposant à un projet de construction que lorsque cet opposant réclame une indemnisation - exorbitante - alors qu'aucun intérêt digne de protection n'est lésé. Elle a alors constaté que le projet de construction litigieux - un parking souterrain - était situé en limite de la propriété de l'intimée et, partant, en dérogation aux règlements relatifs à ce type de constructions; de ce fait, l'intimée avait un intérêt digne de protection à former opposition; cette opposition n'était dès lors pas dénuée de tout fondement, ce qui avait pour conséquence que l'intimée n'avait pas utilisé un moyen de contrainte. En outre, le dessein d'enrichissement de l'auteur faisait défaut, dans la mesure où aucun élément du dossier ne permettait de penser que l'intimée aurait délibérément abusé de sa position, en utilisant le moyen de l'opposition dans le but de se faire verser une prestation en argent. Enfin, le recourant n'invoquait aucun élément qui permettrait de penser que le litige sortirait du cadre strictement civil, de sorte que la non-entrée en matière était justifiée. Les intimées adhèrent à cette argumentation, soulignant que la somme de 40'000 fr. avait pour but de compenser les désagréments de la construction envisagée.
Pour sa part, le recourant estime que le comportement des intimées peut tomber sous le coup de l'art. 156 CP. Il reproche ainsi au Ministère public d'avoir conclu, avant même l'ouverture d'une instruction pénale, à l'absence manifeste des éléments constitutifs de l'infraction d'extorsion et de chantage. Il fait valoir que le seul acte d'instruction diligenté, à savoir l'audition par la police de l'intimée D._, ne permettait pas d'établir avec certitude que l'opposante était dénuée de tout dessein d'enrichissement illégitime. Il reproche en outre au procureur de ne pas avoir vérifié la crédibilité des assertions de l'intimée D._. Enfin, il relève que la cour cantonale ne mentionne pas l'intérêt digne de protection qu'était susceptible de faire valoir l'opposante. En conclusion, une instruction était nécessaire pour démontrer que l'opposante n'avait aucun intérêt digne de protection à former opposition au projet de construction du recourant. Avant que cette démonstration ne soit faite, une non-entrée en matière était prématurée.
3.3 En droit vaudois de l'aménagement du territoire, un règlement communal peut prévoir que les constructions souterraines ou semi-enterrées ne sont pas prises en considération dans le calcul de la distance aux limites de propriété. Une telle réglementation n'est cependant applicable que dans la mesure où le profil et la nature du sol ne sont pas sensiblement modifiés et s'il n'en résulte pas d'inconvénient pour le voisinage (art. 84 de la loi sur l'aménagement du territoire et les constructions; RS/VD 700.11). Les parties sont unanimes pour admettre que le parking souterrain - en tant que sa construction était projetée en limite de la parcelle de l'intimée B._ - tombait sous un régime dérogatoire par rapport au droit communal. En outre, les déclarations du témoin D._ - à teneur desquelles l'autorisation des voisins était nécessaire pour une construction en limite de propriété - ne sont pas remises en cause. Enfin, il est notoire qu'une installation en limite directe de propriété, même enterrée comme en l'espèce, est de nature à rendre plus difficiles à l'avenir les possibilités de construire la parcelle voisine.
Dans ces circonstances, les intimées possédaient un intérêt digne de protection à s'opposer au projet du recourant. Il était d'ailleurs loisible à ce dernier - s'il voulait éviter l'opposition précitée - de modifier le programme de construction, de manière à le rendre entièrement et immédiatement conforme aux règles locales de construction. Dès lors, la cour cantonale pouvait en déduire que l'opposition litigieuse n'était pas dénuée de tout fondement. Or, même en cas de situation juridique incertaine, le versement d'une contrepartie équitable par le maître de l'ouvrage n'est pas contraire aux m?urs (arrêt 4A_37/2008 du 12 juin 2008 consid. 3.3 publié in SJ 2009 I 5); un tel versement ne peut donc - a fortiori - pas être considéré comme tombant sous le coup du droit pénal.
Quant au montant de 40'000 fr. versé par le recourant, il apparaît comme étant encore compatible avec les désagréments communément liés à la construction du sous-sol en limite de propriété. Contrairement à la jurisprudence citée par le recourant, il ne s'agit pas ici d'un montant sans commune mesure avec les inconvénients découlant du projet de construction (cf. arrêt non publié 6P.5/2006 du 12 juin 2006 consid. 7.3 concernant un montant de 820'000 fr.). Là encore, la cour cantonale pouvait retenir sans violer le droit fédéral que l'utilisation d'un moyen de contrainte faisait défaut. En estimant ainsi que le litige ne sortait pas du cadre purement civil, elle n'a pas mésusé du pouvoir d'appréciation qui était le sien; une non-entrée en matière ne viole ainsi pas l'art. 310 al. 1 let. a CPP. Il s'ensuit que le recours doit être rejeté.
4. Au vu de l'issue de la procédure, les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Le recourant versera en outre une indemnité à titre de dépens aux intimées, qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2'000 francs est allouée aux intimées, prises conjointement et solidairement, à titre de dépens, à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties, au Ministère public et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 21 février 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Merkli
La Greffière: Sidi-Ali