Faits :
A.
Le 4 juillet 2013, A._ a déposé plainte pénale contre son épouse B._ - dont il est séparé -, ainsi que contre toute personne concernée, pour menaces et contrainte. Il a reproché à la prénommée d'avoir fait irruption dans leur domicile, le 1er juillet 2013, accompagnée de sa mère, C._, et d'une tierce personne, présentée comme un cousin mais identifiée ultérieurement comme étant X._, lequel avait affirmé exercer en tant que garde du corps. Selon A._, X._ et B._ se seraient montrés menaçants à son encontre et lui auraient imparti un délai de 15 minutes pour quitter les lieux. Effrayé à l'idée que X._ puisse être armé, A._ avait alerté la police.
B.
Par ordonnance du 21 septembre 2016, le ministère public a classé la procédure ouverte contre X._ ensuite de cette plainte.
Par arrêt du 1er février 2017, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours formé par A._ contre cette ordonnance de classement.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, en concluant, avec suite de frais et dépens, principalement à son annulation et au renvoi de la cause au ministère public afin que celui-ci poursuive l'instruction. Subsidiairement, il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 197).
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO (<ref-ruling> consid. 1.1 p. 4).
En vertu de l'art. 42 al. 1 LTF, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. art. 119 al. 2 let. b CPP), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. art. 320 al. 3 CPP). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 et les références citées).
1.2. En l'espèce, le recourant a participé à la procédure cantonale en tant que partie plaignante. L'intéressé indique qu'il entend réclamer à l'intimé ses "frais de défense", qu'il chiffre actuellement à quelque 18'000 francs. Comme la jurisprudence l'a rappelé à maintes reprises, les frais liés aux démarches judiciaires de la partie plaignante ne sauraient toutefois constituer des prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 LTF (cf. arrêts 6B_916/2017 du 16 octobre 2017; 6B_768/2013 du 12 novembre 2013 consid. 1.3).
Le recourant indique par ailleurs qu'il entend réclamer à l'intimé une "réparation du tort moral qu'il a subi suite aux événements du 1er juillet 2013", à hauteur de 5'000 francs. Il précise avoir été "particulièrement choqué" par lesdits événements et soutient qu'il aurait eu "si peur pour son intégrité physique personnelle et celle de ses filles qu'il a organisé un suivi de protection personnelle" avec une entreprise active dans ce secteur. Il ajoute qu'un responsable de cette société entendu en qualité de témoin dans la procédure, D._, a confirmé que le recourant aurait été "en panique et choqué" à la suite des faits. Au vu de ce qui précède, il convient d'admettre que la décision attaquée pourrait avoir des effets sur le jugement des prétentions civiles - soit d'une indemnité à titre de tort moral - du recourant. Ce dernier est ainsi habilité à recourir sur le fond au Tribunal fédéral.
2.
Le recourant reproche à la cour cantonale d'avoir fait preuve d'arbitraire dans l'appréciation des preuves, en considérant que sa version des faits n'était pas plus crédible que celle présentée par l'intimé, B._ et C._.
2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. La notion d'arbitraire a été rappelée récemment dans l'arrêt publié aux <ref-ruling>, auquel on peut se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF; <ref-ruling> consid. 2.4 p. 368). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2.4 p. 368 et les références citées). La partie recourante est autorisée à attaquer des constatations de fait irrégulières si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
2.2. La cour cantonale a considéré que si le recourant avait indiqué avoir ressenti de la peur pour lui-même et ses filles et s'être senti menacé par l'intimé - lequel aurait tenté de lui faire quitter la villa familiale en l'intimidant -, il n'avait pas expliqué quelles menaces auraient été prononcées par l'intéressé, ni quels moyens de contrainte auraient été utilisés. Il s'était contenté de déclarer que l'intimé lui avait imparti un délai de 15 minutes pour quitter les lieux, ce qu'avait confirmé sa fille E._. Même en suivant cette version des faits, qui était contestée par les autres parties à la procédure, il apparaissait qu'aucune menace grave n'avait été formulée par l'intimé, lequel n'avait par ailleurs usé d'aucune violence. L'attitude de l'intéressé, décrite par le recourant comme intimidante, ne pouvait être qualifiée de menace ou de moyen de contrainte, même au stade de la tentative.
Les éventuelles contradictions dans les déclarations des autres parties à la procédure - concernant les raisons pour lesquelles l'intimé était présent le soir des faits, son lien de parenté avec C._ ou le fait que le recourant ait imaginé que celui-ci aurait été armé - n'étaient pas pertinentes.
Les témoignages de D._ et de E._ n'étaient pas propres à modifier cette appréciation. La version des faits rapportée par la fille du recourant était cohérente avec celle de ce dernier, mais n'ajoutait aucun élément propre à remettre en question le précédent raisonnement. D._ n'avait quant à lui pas été présent lors des faits et n'avait pu que relater les propos que lui avait tenus le recourant par téléphone. Le fait qu'il ait décrit celui-ci comme choqué ne suffisait par ailleurs pas à prouver que l'une ou l'autre des infractions dénoncées fût avérée.
2.3. Le recourant soutient que la cour cantonale aurait dû retenir sa version des faits, dès lors que les déclarations des autres parties à la procédure auraient été émaillées de contradictions. Il développe à cet égard une argumentation purement appellatoire, dans laquelle il rediscute librement l'appréciation des preuves à laquelle s'est livrée l'autorité précédente, sans démontrer en quoi celle-ci serait arbitraire. Au demeurant, les contradictions évoquées par le recourant portent sur des éléments - soit le lien de parenté entre B._ et l'intimé ou le fait que ce dernier n'aurait pas disposé des compétences idoines pour s'occuper de l'état de santé de C._ - qui n'apparaissent pas de nature à influer sur le sort de la cause. On ne voit pas, en particulier, en quoi le fait que l'intimé n'aurait pas accompagné la dernière nommée en raison de son état de santé, comme il l'a déclaré, impliquerait qu'il aurait menacé le recourant ou contraint celui-ci à quitter son domicile. Pour le reste, le recourant ne précise pas quel élément ressortant du témoignage de sa fille aurait été arbitrairement apprécié par la cour cantonale. Cette dernière a d'ailleurs retenu que E._ avait livré une version des faits concordant avec celle du recourant, mais qui n'était pas propre à établir l'existence d'une menace ou d'une contrainte de la part de l'intimé. Le recourant ne présente enfin aucun élément permettant de contester l'appréciation de la cour cantonale selon laquelle le témoin D._ n'avait pas assisté aux événements du 1er juillet 2013 et avait simplement rapporté le récit que lui en avait fait celui-ci. Au vu de ce qui précède, le grief doit être rejeté dans la mesure où il est recevable.
3.
Le recourant fait grief à la cour cantonale d'avoir violé les art. 180 et 181 CP.
3.1. Aux termes de l'art. 180 al. 1 CP, celui qui, par une menace grave, aura alarmé ou effrayé une personne sera, sur plainte, puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. La menace suppose que l'auteur ait volontairement fait redouter à sa victime la survenance d'un préjudice, au sens large (<ref-ruling> consid. 2b p. 100). Elle constitue un moyen de pression psychologique consistant à annoncer un dommage futur dont la réalisation est présentée comme dépendante de la volonté de l'auteur, sans toutefois qu'il soit nécessaire que cette dépendance soit affective (<ref-ruling> consid. 2b p. 448; <ref-ruling> consid. 2a p. 128), ni que l'auteur ait réellement la volonté de réaliser sa menace (<ref-ruling> consid. 2a p. 122). Toute menace ne tombe pas sous le coup de l'art. 180 CP. La loi exige en effet que la menace soit grave. C'est le cas si elle est objectivement de nature à alarmer ou à effrayer la victime. Il convient à cet égard de tenir compte de la réaction qu'aurait une personne raisonnable face à une situation identique (<ref-ruling> consid. 2b p. 100). Si le juge bénéficie d'un certain pouvoir d'appréciation pour déterminer si une menace est grave, il doit cependant tenir compte de l'ensemble de la situation (<ref-ruling> consid. 1a p. 215).
Se rend coupable de contrainte au sens de l'art. 181 CP, celui qui, en usant de violence envers une personne ou en la menaçant d'un dommage sérieux, ou en l'entravant de quelque autre manière dans sa liberté d'action, l'aura obligée à faire, à ne pas faire ou à laisser faire un acte. Outre l'usage de la violence ou de menaces laissant craindre la survenance d'un dommage sérieux, il peut également y avoir contrainte lorsque l'auteur entrave sa victime "de quelque autre manière" dans sa liberté d'action. Cette formule générale doit être interprétée de manière restrictive. N'importe quelle pression de peu d'importance ne suffit pas. Il faut que le moyen de contrainte utilisé soit, comme pour la violence ou la menace d'un dommage sérieux, propre à impressionner une personne de sensibilité moyenne et à l'entraver d'une manière substantielle dans sa liberté de décision ou d'action. Il s'agit donc de moyens de contrainte qui, par leur intensité et leur effet, sont analogues à ceux qui sont cités expressément par la loi (<ref-ruling> consid. 3.2.1 p. 440 s.; <ref-ruling> consid. 3.3.1 p. 328).
3.2. Le recourant soutient que l'intimé l'aurait menacé en lui impartissant un délai de 15 minutes pour quitter son domicile et qu'il se serait ainsi rendu coupable de l'infraction réprimée par l'art. 180 CP. Son argumentation est irrecevable dans la mesure où elle repose sur des éléments qui ne ressortent pas de l'état de fait de la cour cantonale, dont le recourant n'a pas démontré qu'il serait entaché d'arbitraire (cf. consid. 2.3 supra).
Pour le reste, le recourant ne précise pas quelle menace grave lui aurait été adressée par l'intimé, ni de quel préjudice il aurait été question. L'intéressé affirme qu'il aurait éprouvé de la crainte pour son intégrité corporelle et celle de sa fille en étant confronté à l'intimé, sans toutefois prétendre que celui-ci lui aurait volontairement fait redouter une atteinte de cette nature. On ne voit pas non plus par quel "acte concluant" l'intimé aurait menacé le recourant. Le fait que l'intimé ait accompagné B._ le 1er juillet 2013 et que cette dernière se soit alors trouvée en conflit conjugal avec son époux ne permet pas de considérer que la simple présence de celui-ci constituât une menace pour l'intégrité physique du recourant. La cour cantonale n'a dès lors pas violé le droit fédéral en considérant que l'intimé n'avait pas adressé des menaces au recourant.
3.3. Le recourant estime en outre que l'intimé aurait commis une infraction de contrainte à son encontre. Son argumentation est irrecevable dans la mesure où elle s'écarte de l'état de fait de la cour cantonale, dont l'intéressé n'a pas démontré qu'il serait entaché d'arbitraire (cf. consid. 2.3 supra). Il en va notamment ainsi lorsqu'il soutient que l'intimé se serait rendu à son domicile le 1er juillet 2013 dans le but de le forcer à quitter les lieux.
Le recourant ne prétend pas que l'intimé aurait usé de violence ou l'aurait entravé de quelque autre manière. Il soutient que l'intéressé l'aurait contraint, en menaçant "par ses actes et son attitude" son intégrité physique et celle de sa fille, à quitter le domicile conjugal contre son gré. Il ne ressort toutefois nullement de l'arrêt attaqué que l'intimé aurait formulé une menace à l'encontre du recourant, ni qu'il lui aurait fait comprendre, d'une autre manière, que sa fille et lui seraient agressés physiquement - ou qu'ils subiraient un autre dommage - si celui-ci refusait d'obtempérer. Par ailleurs, le contexte dans lequel l'intimé s'est présenté au domicile du recourant ne permet pas à lui seul de déduire que le premier aurait eu l'intention de forcer le second à quitter son domicile. L'autorité précédente n'a pas violé le droit fédéral en considérant que l'intimé n'avait pas contraint le recourant à quitter sa villa.
4.
Le recourant reproche à la cour cantonale d'avoir fait une application arbitraire de l'art. 319 CPP.
4.1. Selon l'art. 319 al. 1 CPP, le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a), lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b), lorsque des faits justificatifs empêchent de retenir une infraction contre le prévenu (let. c), lorsqu'il est établi que certaines conditions à l'ouverture de l'action pénale ne peuvent pas être remplies ou que des empêchements de procéder sont apparus (let. d) ou lorsqu'on peut renoncer à toute poursuite ou à toute sanction en vertu de dispositions légales (let. e). L'art. 319 al. 2 CPP prévoit encore deux autres motifs de classement exceptionnels (intérêt de la victime ou consentement de celle-ci).
Le principe "in dubio pro duriore" découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91; arrêt 6B_1100/2016 du 25 octobre 2017 consid. 3.1). Il signifie qu'en principe un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid 4.1 p. 190; arrêt 6B_1100/2016 précité consid. 3.1).
4.2. Contrairement à ce que soutient le recourant, la cour cantonale n'a nullement admis l'existence d'un doute relatif à la réalisation des infractions dénoncées, mais a indiqué que celles-ci n'étaient pas réalisées et qu'il n'y avait pas de "prévention suffisante".
Le recourant estime que les témoignages de E._ et de D._ auraient dû pousser la cour cantonale à considérer qu'une condamnation de l'intimé était possible. Cependant, aucun de ces témoins, non plus que le recourant lui-même, n'a expliqué quelle menace aurait été proférée par l'intimé, ni par quel moyen ce dernier aurait fait comprendre à l'intéressé qu'il s'en prendrait à son intégrité physique ou à celle de sa fille s'il refusait de quitter son domicile. Partant, l'éventuelle "attitude menaçante" de l'intimé, évoquée par le recourant, ne permet pas de considérer qu'une infraction aux art. 180 et 181 CP aurait pu être commise. Il convient enfin de relever que le recourant ne précise pas quel fait devrait être établi par une poursuite de l'instruction, ni quelle mesure d'instruction serait à même d'établir qu'il aurait été menacé ou contraint par l'intimé de quitter son domicile le jour des faits.
Au vu de ce qui précède, les probabilités d'un acquittement de l'intimé étaient largement plus élevées que celles d'une condamnation, de sorte que l'autorité précédente n'a pas violé le principe " in dubio pro duriore", ni appliqué arbitrairement l'art. 319 CPP, en confirmant le classement de la procédure ouverte contre l'intimé. Mal fondé, le grief doit être rejeté.
5.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF). L'intimé, qui n'a pas été invité à se déterminer, ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 2 novembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Graa