Faits : A. A.a. Z._, courtier indépendant en valeurs mobilières, domicilié à... (Malte), exerce son activité de vente et d'achat en utilisant l'accès à la plateforme V._ qui appartient à W._ (société étrangère active dans le négoce de valeurs mobilières, dont le siège est à...), laquelle a une représentation à Genève. Il est au bénéfice d'un accord avec cette société pour l'utilisation de l'accès à cette plateforme dont dispose celle-ci. X._, gérant de fortune, domicilié à... (Schwyz), qui cherchait du travail dans le domaine de la gestion de fortune, a été engagé, par l'intermédiaire de Z._, au sein de la société A._ SA, société de gestion, sise à... (dont Z._ allait devenir actionnaire), en tant que directeur dès le 1er avril 2013 et pour une durée indéterminée. Le contrat est daté du 3 mai 2013. A.b. Z._ allègue que X._ lui a demandé, à la fin de l'année 2012, soit avant son engagement par la société A._ SA, de lui octroyer à bien plaire l'utilisation de son interface chez W._ pour des opérations ponctuelles sur valeurs mobilières, ce qu'il avait accepté à la condition que celui-ci sollicite son accord exprès et préalable pour chaque opération; plusieurs opérations ont ainsi été effectuées sans incident par X._, toujours en sa présence et avec son accord préalable. Il allègue que, le 23 juillet 2013, en son absence et sans l'en informer, X._ a accédé, alors qu'il se trouvait dans les bureaux de W._ à Genève, à l'interface de Z._ chez W._, et a pris une position auprès de la banque B._ (ci-après: la banque) pour un montant de 10'000'000 Euros, qu'il n'a pas confirmée par la suite. Cette renonciation constituait une violation de l'art. 9.1 du " customer agreement " passé entre W._ et la banque. La banque, qui a dû procéder elle-même à la transaction, a subi une perte et a réclamé des dommages-intérêts de ce fait à W._, qui s'est exécutée et s'est retournée ensuite contre Z._. Ne voulant pas perdre son accès à V._, Z._ s'est exécuté; W._ lui a cédé ses droits. A.c. Après divers échanges de correspondance, le 31 octobre 2013, Z._ a fait notifier à X._ un commandement de payer pour la somme de 124'081 fr. avec intérêts à 5% l'an dès le 12 septembre 2013. Celui-ci y a fait opposition. B. B.a. Par requête de conciliation du 17 décembre 2013, Z._ a ouvert une action en paiement contre X._. La conciliation ayant échoué, le défendeur ne s'étant pas présenté, une autorisation de procéder a été délivrée au requérant le 24 février 2014 (complètement selon l'art. 105 al. 2 LTF). B.b. Le 24 mars 2014, Z._ a déposé sa demande en paiement contre X._ devant le Tribunal de première instance de Genève. Il a conclu à ce que celui-ci soit condamné à lui payer la somme de 100'459.60 Euros avec intérêts à 5% l'an dès le 12 septembre 2013 et que la mainlevée définitive de l'opposition au commandement de payer soit ordonnée. Selon lui, les parties étaient liées par un contrat de prêt à usage, puisqu'il avait cédé à X._ l'usage et la jouissance de son droit d'accès (à la plateforme V._) chez W._, à la condition que celui-ci lui demande son autorisation avant chaque transaction. X._ avait ainsi violé cet accord en procédant à la transaction litigieuse du 23 juillet 2013 sans lui demander son autorisation, de sorte qu'il était responsable de son dommage. Comme la mise à disposition de l'accès avait eu lieu à Genève, dans les bureaux de W._, le for se trouvait à Genève. Le défendeur a conclu à l'irrecevabilité de la demande, subsidiairement à son rejet. Selon lui, les parties étaient liées par un contrat de société simple, lequel portait sur l'utilisation de la plateforme et sur le partage des gains résultant des opérations de négoce effectuées. Vu cette qualification, le for se trouverait à son domicile, à... (canton de Schwyz). B.c. Après avoir limité, dans un premier temps, la procédure à la question de la compétence ratione loci, le Tribunal de première instance s'est déclaré compétent à raison du lieu, par jugement du 9 janvier 2015. Statuant par arrêt du 11 septembre 2015, la Cour de justice du canton de Genève a rejeté l'appel du défendeur et confirmé le jugement attaqué. C. Contre cet arrêt, le défendeur a interjeté un recours en matière civile au Tribunal fédéral le 16 octobre 2015. Il conclut principalement à ce que le Tribunal de première instance soit déclaré incompétent, en d'autres termes à l'irrecevabilité de la demande, pour défaut de compétence locale; subsidiairement, il conclut au renvoi de la cause à l'instance inférieure pour nouvelle décision dans le sens des considérants. Il ne se prévaut plus de la qualification de société simple, mais soutient qu'il travaillait souvent chez lui, que l'on ne peut pas déterminer où se trouve le lieu de la prestation caractéristique, qu'il a effectué la transaction litigieuse pour la société A._ SA à... et donc que l'art. 113 LDIP ne pourrait pas s'appliquer; le for se trouverait à son domicile en vertu de l'art. 112 LDIP. Il reproche à la cour cantonale d'avoir violé la théorie de la double pertinence des faits, les art. 112 et 113 LDIP et d'avoir établi les faits de manière manifestement inexacte (art. 97 LTF). L'intimé conclut au rejet du recours.