Faits : A. A.a. Le 24 juin 2004, peu avant 7 heures, A._ (ci-après: le conducteur ou le motocycliste) circulait, au guidon d'une moto, sur l'avenue du Premier-Mars à Neuchâtel, d'ouest en est. Parvenu à la hauteur du passage piéton situé à l'est de la Place du Port, il a heurté C._ qui traversait l'avenue sur le passage de sécurité du nord au sud (soit de gauche à droite par rapport au sens de marche de la moto). La piétonne a alors été projetée sur la chaussée à environ 17 mètres du point de choc et gravement blessée. A.b. Il a été établi que, 100 mètres avant le passage pour piétons (soit devant le bâtiment de la poste) et jusqu'à 11 mètres avant ce passage, le motocycliste a été gêné par le soleil rasant (qui avait été caché par une succession de bâtiments sur tout le trajet précédant l'avenue du Premier-Mars). Sur cette distance (en ligne droite), il a roulé à une vitesse plus ou moins constante de l'ordre de 40 km/h, voire un peu moins, sans réduire sa vitesse à l'approche du passage de sécurité dont il connaissait pourtant l'existence. Le motocycliste n'a à aucun moment remarqué (il a été incapable de dire si la piétonne traversait de gauche à droite ou de droite à gauche), durant les 7 à 10 secondes qu'il lui a fallu pour atteindre le point de choc à partir de la poste, la victime qui avait déjà traversé pratiquement les trois-quarts du passage. A.c. Par lettre du 4 janvier 2007, B._, auprès de qui le conducteur était assuré en responsabilité civile, a communiqué à son client qu'elle avait versé 191'189 fr.70 auprès de la compagnie qui assurait la piétonne contre les accidents. Elle considérait que les faits reprochés au motocycliste procédaient d'une faute grave et l'informait qu'elle entendait lui réclamer le remboursement partiel de ses prestations, soit à concurrence de 20%, ou en l'état de 38'237 fr.95, et l'invitait à faire des propositions de paiement. A._ a opposé à son assureur une fin de non-recevoir. B. B.a. Par demande du 22 décembre 2008, la compagnie d'assurances a actionné, devant l'une des Cours civiles du Tribunal cantonal neuchâtelois, son assuré en paiement de 47'065 fr, intérêts en sus, somme corrigée à 47'045 fr. en cours de procédure et correspondant aux 20% du total définitif des prestations qu'elle avait versées suite à l'accident du 24 juin 2004. Elle a fait valoir en substance que le conducteur avait commis une faute grave qui l'autorisait, en application des art. 14 al. 2 LCA, 65 al. 3 LCR et des conditions générales de la police d'assurance, à demander à son client une participation de 20% aux prestations qu'elle avait dû verser. Le conducteur a contesté avoir commis une faute grave. Une expertise a été ordonnée par le juge instructeur, portant en particulier sur la détermination de la vitesse du motocycliste et les conditions de visibilité qui étaient les siennes au moment du choc. Par jugement du 1er juillet 2014, le Tribunal civil du Littoral et du Val-de-Travers, devenu compétent à la suite de la réorganisation judiciaire consécutive à l'entrée en vigueur du nouveau code de procédure civile suisse, a retenu que le conducteur avait négligé de prendre les précautions évidentes aux yeux de toute personne raisonnable et, partant, qu'il avait commis une faute grave; il a admis la demande de la compagnie d'assurances et condamné le défendeur à payer à celle-ci le montant de 47'045 fr., intérêts en sus. B.b. Par arrêt du 18 mars 2015, la Cour d'appel civile du Tribunal cantonal neuchâtelois a rejeté l'appel formé par le défendeur, considérant que celui-ci avait commis une faute grave, celle-ci résultant à la fois d'une vitesse inadaptée aux conditions de la circulation et d'un défaut d'attention. C. Le motocycliste exerce un recours en matière civile au Tribunal fédéral contre l'arrêt de la Cour d'appel civile. Il conclut à son annulation et, sous suite de frais et dépens, au renvoi de la cause à l'autorité précédente, subsidiairement au rejet de la demande formée par la compagnie d'assurances. Le recourant admet avoir commis une faute, mais il estime que celle-ci n'est que de moyenne gravité et que c'est en violant l'art. 65 al. 3 LCR et l'art. 14 al. 2 LCA que la cour précédente a retenu qu'il s'agissait d'une faute grave au sens de cette dernière disposition. L'intimée conclut, avec suite de frais et dépens, au rejet du recours. Les parties ont chacune encore déposé des observations.