Faits :
A.
Par jugement du 25 mai 2019, le Tribunal correctionnel de la République et canton de Genève a reconnu A._ coupable des chefs de contrainte sexuelle, de viol, d'usage abusif de permis et de plaques par négligence et d'état défectueux des véhicules. Il l'a condamné à une peine privative de liberté de quatre ans, sous déduction de 61 jours de détention avant jugement, ainsi qu'à une amende de 500 fr. (peine privative de liberté de substitution de cinq jours). Il a été condamné à payer, à titre de tort moral, 15'000 fr. avec intérêts à 5% l'an dès le 15 mars 2014 à B._ et 10'000 fr. avec intérêts à 5% l'an dès le 21 mars 2015 à C._. Ses conclusions en indemnisation ont par ailleurs été rejetées, diverses mesures de confiscation et restitution ont été ordonnées et les frais de procédure ont été mis à sa charge.
B.
Par arrêt du 23 janvier 2020, la Chambre pénale d'appel et de révision de la Cour de justice genevoise a rejeté l'appel formé par A._ contre le jugement du tribunal correctionnel. Ce dernier, condamné en première instance pour des agressions sexuelles à l'encontre de C._ et de B._, a uniquement contesté devant la Chambre pénale les infractions à l'encontre de B._.
En substance, la cour cantonale a tenu pour établis les faits suivants en lien avec B._.
B._, née en 1994, originaire de Grande-Bretagne, est arrivée en Suisse, à D._, le 1 er mars 2014 en provenance d'Angleterre. Le 15 mars 2014, elle avait passé la soirée avec une amie dans un bar, puis dans un second établissement. Elle s'était retrouvée à l'extérieur de l'établissement, visiblement alcoolisée, lorsque A._ l'avait embarquée dans sa voiture peu après 1h00. Dans l'habitacle du véhicule dont il avait verrouillé les portes, il avait usé de sa force et profité de l'état dans lequel elle était pour lui tirer sur les seins, la pénétrer vaginalement et analement avec les doigts et la contraindre à lui prodiguer une fellation. Il l'avait aussi pénétrée vaginalement avec son sexe. A la suite de ces événements, B._ a souffert de troubles psychiques et a dû être hospitalisée. Les traces de lésions traumatiques, établies par le Centre universitaire romand de médecine légale (CURML) le jour même, pouvaient entrer en relation avec les faits. A._ a été identifié ultérieurement par son profil ADN, qui correspondait à celui mis en évidence lors des prélèvements effectués sur B._. L'agression subie par C._, reconnue tardivement par A._, présentait de grandes similarités avec celle subie par B._.
C.
A._ forme un recours en matière pénale au Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement à la réforme du jugement attaqué en ce sens qu'il est libéré du chef d'accusation de contrainte sexuelle et viol, en relation avec B._, et condamné à une peine privative de liberté compatible avec le sursis, sous déduction de la détention subie avant jugement ainsi qu'à la condamnation de l'Etat de Genève à lui verser des indemnités pour ses frais de défense (au titre de l'<ref-law>) de 44'800 fr. pour la première instance et de 11'052 fr. 70 pour la procédure d'appel. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour qu'elle statue à nouveau.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir fait preuve d'arbitraire dans l'établissement des faits et l'appréciation des preuves et invoque la violation de la présomption d'innocence (<ref-law>, 32 al. 1 Cst. et 6 par. 2 CEDH).
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> cons. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des conclusions insoutenables (<ref-ruling> consid. 1.1 p. 503 et les références citées). Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant de manière précise (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1 p. 156 et les références citées).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 2.2.3.1 p. 348; <ref-ruling> consid. 2a p. 40 s.). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves (sur la portée et le sens précis de la règle sous cet angle, cf. <ref-ruling> consid. 2.2.3.3 p. 351), la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
1.2. Le recourant fait valoir que la cour cantonale a écarté arbitrairement sa version selon laquelle les actes de contrainte sexuelle qui lui sont reprochés étaient consentis par l'intimée.
1.2.1. En particulier, il lui reproche d'avoir retenu qu'il était abracadabrant de soutenir que l'intimée, après être montée dans le véhicule d'un inconnu, se soit livrée spontanément aux actes décrits. Selon lui, un tel raisonnement serait insoutenable au vu du comportement de l'intimée, qui s'était montrée entreprenante avec un autre homme juste avant les faits. La cour cantonale a examiné le comportement de l'intimée avec d'autres hommes avant les faits. Elle a relevé qu'embrasser ou discuter avec des hommes dans des bars et se livrer à des actes sexuels violents dans le véhicule d'un inconnu étaient sans commune mesure. Elle a considéré qu'on ne pouvait retenir de son comportement qu'elle était consentante aux actes qui s'étaient déroulés dans la voiture. C'est dans ce contexte que les juges précédents ont considéré que le récit du recourant était invraisemblable et qu'il était abracadabrant de soutenir qu'une jeune femme, après être montée dans le véhicule d'un parfait inconnu, lui prenne la main pour se masturber et se livre aux autres actes sexuels décrits, alors même qu'elle n'avait jamais vu cet homme auparavant. Faute de toute discussion sur la motivation cantonale, la critique du recourant est irrecevable et inapte à démontrer l'arbitraire.
1.2.2. Il en va de même lorsque le recourant commente le constat de lésions traumatiques établi par le CURML en se livrant à une libre appréciation du rapport médical. On peine à discerner le grief qu'il entend en tirer quant à la motivation cantonale. Il suffit de relever que la cour cantonale a énoncé les diverses lésions traumatiques mises en évidence par le CURML, lors de l'examen clinique de l'intimée, qui pouvaient entrer chronologiquement en relation avec les faits. Que d'autres marques sur le corps de la victime n'aient pas été mises en relation avec les agissements du recourant est dénué de toute portée. Quant au caractère traumatique de certaines lésions, la cour cantonale a constaté que la dermabrasion au niveau de la lèvre supérieure correspondait à la morsure décrite par l'intimée lors de l'agression et la tuméfaction du cuir chevelu au maintien par le recourant de sa tête lors de la fellation, sans que le recourant ne conteste ces constatations qui lient le Tribunal fédéral (<ref-law>). C'est en vain que le recourant souligne qu'aucune marque n'a été relevée sur les seins de l'intimée ou encore que cette dernière a exclu le rapport entre certaines marques et les actes subis, au regard des nombreuses lésions établies par le rapport médical en lien avec les faits dénoncés. Le procédé est irrecevable.
1.2.3. Le recourant invoque l'incohérence des déclarations de l'intimée. Il relève que l'intimée ne l'a pas reconnu lors de l'audience de confrontation, qu'elle a toujours déclaré que la voiture de son agresseur était rouge et qu'il s'agissait d'une Lamborghini ou d'une Ferrari, que l'agresseur avait l'air d'être indien, puis arabe et parlait anglais. Or, il avait une voiture noire de marque E._, n'avait pas le type arabe et ne parlait pas anglais. La cour cantonale a relevé que les incohérences pointées par le recourant dans le récit de l'intimée n'étaient pas anormales vu l'état second dans lequel elle se trouvait au moment des faits. La quantité d'alcool, notamment fort, ingérée le soir des événements était propre à l'enivrer fortement. L'état de choc ayant suivi cette agression était un élément supplémentaire venant expliquer les pertes de mémoire conduisant aux incohérences relevées par le recourant. Ainsi, les erreurs de l'intimée s'agissant de la marque et de la couleur du véhicule ainsi que de l'apparence de son agresseur et son incapacité à le reconnaître, ne diminuaient pas sa crédibilité. Faute de s'en prendre à cette motivation, qui n'a rien d'insoutenable, la critique du recourant, purement appellatoire, est irrecevable.
1.2.4. Le recourant cite des extraits des procès-verbaux d'audition de l'intimée pour mettre en exergue que l'intimée, en plus d'être alcoolisée, aurait été droguée par un inconnu alors qu'elle prenait un verre et qu'elle aurait suivi cet inconnu dans cet état dans sa voiture. En tant que le recourant cherche par la mise en avant de ces éléments à démontrer que l'intimée a pu être agressée par un autre individu, il ignore que la cour cantonale a écarté cette hypothèse en soulignant que seul le sperme et l'ADN du recourant ont été trouvés sur l'intimée, à l'exclusion de tout autre ADN masculin, tout en relevant qu'il serait inconcevable que l'intimée ait consenti aux actes d'ordre sexuel reprochés au recourant si elle avait d'ores et déjà subi des abus. Faute de s'en prendre à cette motivation, le grief est irrecevable.
1.2.5. Le recourant reproche à la cour cantonale d'avoir mis en doute la crédibilité du témoignage de F._, gérant d'un tabac situé en face de l'établissement que le recourant exploite, et chez qui le recourant expose s'être rendu en voiture le soir des faits avec l'intimée qui pleurait pour que F._ lui traduise les propos de l'intimée qu'il ne comprenait pas. Il fait valoir que s'il avait été l'auteur de l'infraction, il n'aurait pas pris le risque d'aller trouver F._. Le recourant n'avance aucun élément pertinent qui permette de retenir que les motifs pour lesquels il y avait lieu d'apprécier ce témoignage avec circonspection seraient insoutenables, à savoir que le témoin était cotitulaire du bail de l'appartement du recourant et qu'il avait eu de nombreuses occasions de s'entretenir au sujet de la présente affaire avec le recourant. Lorsqu'il avance que le témoin est devenu cotitulaire du bail de son appartement postérieurement à sa déclaration à la police, il invoque un fait nouveau irrecevable (<ref-law>). En outre, cet argument est inopérant, F._ ayant été entendu plus tard par le ministère public. Son grief est irrecevable. Au demeurant, la cour cantonale a relevé, sans être contredite, que les propos du témoin démontraient que l'intimée, qui se trouvait dans le véhicule du recourant, était dans un état de détresse, et venaient asseoir son récit selon lequel, alors que le recourant avait arrêté le véhicule, un inconnu s'était approché et adressé à eux, une fois la fenêtre ouverte.
1.2.6. En tant que le recourant se plaint de ce que l'intimée n'a pas été en mesure de retrouver, trois ans après les faits, les messages qu'elle avait envoyés à son petit ami pour lui dire qu'elle avait été violée, au motif qu'il se serait agi alors d'un indice de culpabilité, il passe outre les nombreux éléments pris en considération par la cour cantonale pour établir sa culpabilité. Sa critique est irrecevable.
1.2.7. S'agissant des faits constitutifs de viol, le recourant substitue à nouveau sa propre appréciation des déclarations de l'intimée à celle de la cour cantonale pour en conclure qu'il n'y aurait eu aucune pénétration pénienne, sans se référer à la motivation cantonale sur cette question et exposer en quoi elle serait arbitraire. Les juges précédents ont considéré qu'il n'y avait pas lieu de se fonder sur l'audition de l'intimée effectuée dix-huit mois après les faits, au motif qu'il s'agissait d'une période longue et propre à altérer les souvenirs d'une victime dont la mémoire était déjà friable en raison de l'état dans lequel elle se trouvait le soir des faits et encore diminuée par la thérapie initiée pour effacer de ses souvenirs les événements traumatisants de cette nuit-là. En revanche, ils ont jugé crédibles les déclarations de l'intimée à la police et aux médecins du CURML, effectuées sur le vif, quelques heures après les faits et détaillant les circonstances de la pénétration pénienne. Faute de toute discussion de cette motivation, le grief est irrecevable.
1.3. Il résulte de ce qui précède que l'argumentation du recourant consiste, pour l'essentiel, en une libre discussion des faits retenus par la cour cantonale, sans démontrer en quoi leur établissement serait arbitraire. Ce procédé, purement appellatoire, est irrecevable.
2.
Le recourant critique la mesure de la peine reprochant à la cour cantonale de ne pas avoir tenu compte de sa situation personnelle et de l'effet de la peine sur son avenir.
2.1. Les règles générales relatives à la fixation de la peine (<ref-law>) ont été rappelées aux <ref-ruling> consid. 1.2 p. 319, 142 IV 137 consid. 9.1 p. 147, 141 IV 61 consid. 6.1.1 p. 66 s, 136 IV 55 et 134 IV 17, auxquels on peut renvoyer.
2.2. La situation personnelle et familiale du recourant est exposée dans l'arrêt querellé, en particulier le fait qu'il attend la venue d'un deuxième enfant. En tant que le recourant invoque d'autres éléments relatifs à sa situation personnelle, tels un changement de vie quant à ses infidélités ou le fait de ne plus être impliqué dans la gestion des salons de massage, il introduit des faits nouveaux irrecevables devant le Tribunal fédéral (<ref-law>), et au surplus dépourvus de toute pertinence. Il est inévitable que l'exécution d'une peine ferme d'une certaine durée ait des répercussions sur la vie professionnelle et familiale du condamné. Ces conséquences ne peuvent conduire à une réduction de la peine qu'en cas de circonstances extraordinaires (cf. parmi d'autres, arrêt 6B_1446/2019 du 30 mars 2020 consid. 2.1). Le recourant ne prétend ni ne démontre que de telles circonstances seraient réalisées en l'espèce. Le fait qu'il attend un deuxième enfant ou s'occupe de son fils et de son demi-frère n'est pas suffisant, dès lors que cette situation ne diffère pas sur ce point de celle de nombreux autres condamnés. Le grief est rejeté dans la faible mesure de sa recevabilité.
Le recourant ne discute pas, pour le surplus, la fixation de la peine sous un autre angle. En tout état, il n'apparaît pas que la peine privative de liberté de quatre ans, fixée dans le cadre légal (cf. <ref-law>) et tenant compte des éléments d'appréciation prévus à l'<ref-law> soit exagérément sévère au point de constituer un abus du pouvoir d'appréciation.
3.
Il résulte de ce qui précède que le recours est rejeté dans la faible mesure de sa recevabilité. Cela rend sans objet ses conclusions en indemnisation déduites de l'<ref-law>. Le recourant qui succombe doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer d'indemnité à l'intimée qui n'a pas été invitée à déposer des observations dans la procédure devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 13 mai 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens