Faits: A. Le 28 octobre 2002 à 14 h.50, A._, domiciliée en France, circulait, au volant d'une voiture dont elle est détentrice, sur la route d'Hermance (GE) en direction de Corsier, après avoir quitté une place de stationnement. Alors qu'elle obliquait à gauche pour entrer dans le parking de la poste de Collonge-Bellerive en vue d'effectuer un demi-tour, l'arrière gauche de sa voiture a été heurté par un scooter de marque Honda Fes piloté par son détenteur, B._. Ce dernier a été grièvement blessé. Au lieu de l'accident, la vitesse maximale autorisée était de 50 km/h. A l'endroit où l'automobiliste a obliqué à gauche - manoeuvre qui était permise -, la ligne centrale est pointillée, alors qu'elle est pleine avant et après cet endroit. Le scooter a laissé une trace de freinage de 9,7 mètres qui commence sur la ligne de sécurité et évolue vers la gauche. La conductrice de la voiture a reconnu qu'elle n'avait pas regardé derrière elle avant d'obliquer. La police a infligé une amende à B._ pour avoir perdu la maîtrise de son véhicule. Le rapport de police a conclu qu'il avait perdu la maîtrise de son engin, ayant dû freiner en urgence et n'ayant pas remarqué que le véhicule qui le précédait avait enclenché son clignotant. B._ a déposé plainte pénale contre A._ pour lésions corporelles par négligence et dommages à la propriété. Une expertise judiciaire a été ordonnée. En substance, l'expert est parvenu à la conclusion que le motocycliste roulait à une vitesse inadaptée, comprise entre 52 et 58 km/h., et qu'il avait entrepris de dépasser la voiture en franchissant la ligne de sécurité, sans remarquer que la conductrice avait enclenché son indicateur de direction à gauche. Même si la conductrice avait regardé dans son rétroviseur, elle n'aurait pas eu de raison de renoncer à sa manoeuvre - étant rappelé qu'elle ne peut pas regarder constamment derrière elle -, puisqu'elle n'avait pas à s'attendre à ce que le pilote du scooter dépasse une voiture qui avait manifesté son intention d'obliquer à gauche. Entendue par le juge d'instruction, la conductrice a déclaré qu'elle n'était pas sûre à 100 % d'avoir enclenché son clignotant. L'expert a relevé qu'il ne pouvait pas se prononcer sur cette question. Estimant qu'il n'était pas possible d'établir les éléments constitutifs d'une infraction, le juge d'instruction a refusé d'inculper la conductrice, décision qui fut confirmée en dernier ressort par le Tribunal fédéral le 18 juin 2004 (arrêt 6P.69/2004 et 6S.188/2004). B. Le 7 août 2009, B._ a ouvert action en paiement devant les autorités genevoises contre la détentrice de la voiture A._, Y._, assureur qui couvre la responsabilité civile de la détentrice, et le Bureau national d'assurance, en tant qu'il couvre les véhicules étrangers. Il a conclu à ce que les défendeurs soient condamnés solidairement à lui payer la somme de 3'994'846 fr.66 avec intérêts à 5% dès le 28 octobre 2002 à titre de dommages-intérêts et réparation du tort moral. Les défendeurs se sont opposés à la demande en totalité. Le demandeur a produit une expertise privée, dont les conclusions divergent de celles de l'expertise recueillie dans la procédure pénale. Selon l'expert privé, il n'est pas exclu que le scooter ait roulé à la vitesse autorisée, soit 50 km/h., et on ne peut pas dire que cette vitesse était inadaptée; il est possible que le pilote du scooter ait eu l'intention de dépasser la voiture en restant à l'intérieur de sa voie de circulation, c'est-à-dire sans franchir la ligne de sécurité; son déplacement sur la gauche pourrait être dicté uniquement par une réaction instinctive d'évitement; si la conductrice avait regardé dans son rétroviseur avant d'obliquer, elle aurait perçu le danger en raison de la différence de vitesses. Le Tribunal de première instance de Genève a décidé de se prononcer d'abord sur "le principe de la responsabilité". Par jugement du 8 septembre 2010, il a constaté que les défendeurs étaient, sur le principe, civilement responsables du dommage subi par B._ et a réservé la suite de la procédure. Le premier juge a considéré que les faits établis ne permettaient pas de conclure que l'accident était dû à une faute grave et exclusive de B._, laquelle a interrompu le rapport de causalité. Statuant sur appel des défendeurs par arrêt du 18 mars 2011, la Chambre civile de la Cour de justice de Genève a confirmé le jugement attaqué. La cour cantonale est parvenue à la conclusion qu'aucune faute grave et exclusive n'avait été établie et que la suite de la procédure déterminerait le montant du dommage et sa répartition. C. Le Bureau national d'assurance, Y._ et A._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt précité. Invoquant l'arbitraire dans l'établissement des faits et dans l'application du droit de procédure cantonal, une violation du droit d'être entendu, ainsi qu'une violation des art. 53 CO, 8 CC, 34, 61, 90 de la Loi fédérale sur la circulation routière du 19 décembre 1958 (LCR; RS 741.01) et 3 de l'Ordonnance sur les règles de la circulation routière du 13 novembre 1962 (OCR; RS 741.11), ils concluent à l'annulation de l'arrêt attaqué et au constat qu'ils ne sont pas civilement responsables de l'accident. L'intimé propose le rejet du recours .