Faits :
A.
A.a. Le 24 juin 2004, peu avant 7 heures, A._ (ci-après: le conducteur ou le motocycliste) circulait, au guidon d'une moto, sur l'avenue du Premier-Mars à Neuchâtel, d'ouest en est. Parvenu à la hauteur du passage piéton situé à l'est de la Place du Port, il a heurté C._ qui traversait l'avenue sur le passage de sécurité du nord au sud (soit de gauche à droite par rapport au sens de marche de la moto).
La piétonne a alors été projetée sur la chaussée à environ 17 mètres du point de choc et gravement blessée.
A.b. Il a été établi que, 100 mètres avant le passage pour piétons (soit devant le bâtiment de la poste) et jusqu'à 11 mètres avant ce passage, le motocycliste a été gêné par le soleil rasant (qui avait été caché par une succession de bâtiments sur tout le trajet précédant l'avenue du Premier-Mars). Sur cette distance (en ligne droite), il a roulé à une vitesse plus ou moins constante de l'ordre de 40 km/h, voire un peu moins, sans réduire sa vitesse à l'approche du passage de sécurité dont il connaissait pourtant l'existence. Le motocycliste n'a à aucun moment remarqué (il a été incapable de dire si la piétonne traversait de gauche à droite ou de droite à gauche), durant les 7 à 10 secondes qu'il lui a fallu pour atteindre le point de choc à partir de la poste, la victime qui avait déjà traversé pratiquement les trois-quarts du passage.
A.c. Par lettre du 4 janvier 2007, B._, auprès de qui le conducteur était assuré en responsabilité civile, a communiqué à son client qu'elle avait versé 191'189 fr.70 auprès de la compagnie qui assurait la piétonne contre les accidents. Elle considérait que les faits reprochés au motocycliste procédaient d'une faute grave et l'informait qu'elle entendait lui réclamer le remboursement partiel de ses prestations, soit à concurrence de 20%, ou en l'état de 38'237 fr.95, et l'invitait à faire des propositions de paiement.
A._ a opposé à son assureur une fin de non-recevoir.
B.
B.a. Par demande du 22 décembre 2008, la compagnie d'assurances a actionné, devant l'une des Cours civiles du Tribunal cantonal neuchâtelois, son assuré en paiement de 47'065 fr, intérêts en sus, somme corrigée à 47'045 fr. en cours de procédure et correspondant aux 20% du total définitif des prestations qu'elle avait versées suite à l'accident du 24 juin 2004.
Elle a fait valoir en substance que le conducteur avait commis une faute grave qui l'autorisait, en application des <ref-law>, 65 al. 3 LCR et des conditions générales de la police d'assurance, à demander à son client une participation de 20% aux prestations qu'elle avait dû verser.
Le conducteur a contesté avoir commis une faute grave.
Une expertise a été ordonnée par le juge instructeur, portant en particulier sur la détermination de la vitesse du motocycliste et les conditions de visibilité qui étaient les siennes au moment du choc.
Par jugement du 1er juillet 2014, le Tribunal civil du Littoral et du Val-de-Travers, devenu compétent à la suite de la réorganisation judiciaire consécutive à l'entrée en vigueur du nouveau code de procédure civile suisse, a retenu que le conducteur avait négligé de prendre les précautions évidentes aux yeux de toute personne raisonnable et, partant, qu'il avait commis une faute grave; il a admis la demande de la compagnie d'assurances et condamné le défendeur à payer à celle-ci le montant de 47'045 fr., intérêts en sus.
B.b. Par arrêt du 18 mars 2015, la Cour d'appel civile du Tribunal cantonal neuchâtelois a rejeté l'appel formé par le défendeur, considérant que celui-ci avait commis une faute grave, celle-ci résultant à la fois d'une vitesse inadaptée aux conditions de la circulation et d'un défaut d'attention.
C.
Le motocycliste exerce un recours en matière civile au Tribunal fédéral contre l'arrêt de la Cour d'appel civile. Il conclut à son annulation et, sous suite de frais et dépens, au renvoi de la cause à l'autorité précédente, subsidiairement au rejet de la demande formée par la compagnie d'assurances.
Le recourant admet avoir commis une faute, mais il estime que celle-ci n'est que de moyenne gravité et que c'est en violant l'<ref-law> et l'<ref-law> que la cour précédente a retenu qu'il s'agissait d'une faute grave au sens de cette dernière disposition.
L'intimée conclut, avec suite de frais et dépens, au rejet du recours.
Les parties ont chacune encore déposé des observations.

Considérant en droit :
1.
1.1. Interjeté par la partie qui a succombé dans ses conclusions libératoires (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par un tribunal supérieur statuant sur recours (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse dépasse le seuil de 30'000 fr. (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. a, 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2. Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc également être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
1.3. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 1.5 p. 130) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
Il incombe à la partie recourante, qui entend s'écarter des constatations de l'autorité précédente, d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 p. 287 s. et consid. 6.2 p. 288). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>).
2.
Le recourant reproche à la cour cantonale d'avoir qualifié sa faute de grave au sens de l'<ref-law>. Il admet que sa faute n'est pas légère et qu'il aurait dû freiner plus fortement à l'approche du passage pour piétons, mais il estime qu'elle aurait dû être qualifiée de moyennement grave, ce qui excluait l'application de l'<ref-law>.
2.1. Selon l'<ref-law>, si le preneur d'assurance ou l'ayant droit a causé le sinistre par une faute grave, l'assureur est autorisé à réduire sa prestation dans la mesure répondant au degré de la faute. La notion de faute grave figurant à l'<ref-law> ne s'oppose pas seulement à la faute légère dont parle l'<ref-law>, mais aussi à la faute moyenne ou intermédiaire (arrêt 4A_226/2013 du 7 octobre 2013 consid. 3.1 et les arrêts cités).
Commet une faute grave celui qui viole un devoir élémentaire de prudence dont le respect s'impose à toute personne raisonnable placée dans la même situation (<ref-ruling> consid. 1b p. 81). Pour dire si la faute est grave, il faut l'apprécier de manière objective en tenant compte des circonstances d'espèce; déterminer dans le cas concret si la faute doit être qualifiée de grave relève du jugement de valeur et repose largement sur l'appréciation du juge cantonal, de sorte que le Tribunal fédéral ne réexamine la question qu'avec retenue (arrêt 4A_226/2013 déjà cité consid. 3.1 et les arrêts cités). Il n'intervient que si le juge a abusé de son pouvoir d'appréciation, en se référant à des critères dénués de pertinence ou en ne tenant pas compte d'éléments essentiels, ou lorsque la décision, dans son résultat, heurte de manière choquante le sentiment de la justice et de l'équité (arrêt 5C.175/2003 du 24 février 2004 consid. 5.1; <ref-ruling> consid. 3d/aa p. 124; <ref-ruling> consid. 2b p. 273 et les références).
On se montrera plus sévère lorsque l'ayant droit a eu le temps de réfléchir aux conséquences de son acte et n'a pas été placé dans une situation d'urgence (arrêt 4A_226/2013 déjà cité consid. 3.1 et les arrêts cités).
2.2. A teneur de l'<ref-law>, le conducteur devra rester constamment maître de son véhicule de façon à pouvoir se conformer au devoir de prudence.
Selon l'<ref-law>, la vitesse doit toujours être adaptée aux circonstances, notamment aux particularités du véhicule et du chargement, ainsi qu'aux conditions de la route, de la circulation et de la visibilité. Cette règle implique notamment qu'on ne peut circuler à la vitesse maximale autorisée que si les conditions de la route, du trafic et de visibilité sont favorables (<ref-ruling> consid. 4b p. 291; <ref-ruling> consid. 4a p. 132),
Selon l'<ref-law>, reconnu comme une règle fondamentale de la circulation (arrêt 1C_425/2012 du 17 décembre 2012 consid. 3.1), le conducteur facilitera aux piétons la traversée de la chaussée (al. 1). Avant les passages pour piétons, le conducteur circulera avec une prudence particulière et, au besoin, s'arrêtera pour laisser la priorité aux piétons qui se trouvent déjà sur le passage ou s'y engagent (al. 2).
La " prudence particulière " avant les passages pour piétons que doit adopter le conducteur selon l'<ref-law> signifie qu'il doit porter une attention accrue à ces passages protégés et à leurs abords par rapport au reste du trafic et être prêt à s'arrêter à temps si un piéton traverse la chaussée ou en manifeste la volonté (arrêt 1C_425/2012 déjà cité consid. 3.2 et les arrêts cités)
2.3. D'après la jurisprudence, la faute d'un conducteur qui a heurté une personne engagée sur un passage pour piétons en ne s'arrêtant pas à temps ne peut être qualifiée de légère (arrêt 1C_425/2012 déjà cité consid. 4.1 et les arrêts cités).
2.3.1. Le Tribunal fédéral a notamment confirmé que commettent une faute grave (arrêt précité consid. 4.1 et les références citées) :
- le conducteur qui, circulant à 30 km/h dans une zone à important trafic piétonnier et après avoir contourné un îlot de tram, renverse mortellement une dame âgée à quelques mètres d'un passage pour piétons,
- le motocycliste qui, de nuit et sur une chaussée mouillée, n'ayant remarqué que tardivement un piéton sur un passage sécurisé, effectue un freinage d'urgence entraînant la chute de sa moto qui renverse alors le piéton,
- de même que le conducteur qui, ébloui plusieurs fois par le soleil, continue de circuler à 55 km/h à l'intérieur d'une localité, en particulier sur un passage pour piétons, sans visibilité.
2.3.2. Ont en revanche commis une faute moyenne (arrêt précité consid. 4.1 et les références citées) :
- le conducteur qui a démarré en faisant crisser les pneus lors du passage au vert du signal lumineux, sans prendre garde au feu orange clignotant, et a renversé un piéton qui traversait normalement au feu vert sur un passage sécurisé,
- la conductrice qui n'a pas accordé la priorité à un piéton déjà engagé sur le passage protégé au motif qu'une camionnette lui masquait la vue,
- l'automobiliste qui, ébloui par les phares d'un véhicule venant en sens inverse, n'a pas pu freiner à temps et a renversé un piéton qui avait déjà traversé plus de la moitié du passage protégé,
- la conductrice inattentive qui a heurté une piétonne engagée sur un passage sécurisé peu après avoir bifurqué à gauche,
- ou encore le conducteur qui, à l'approche d'un carrefour, alors qu'il réduisait son allure et concentrait son attention sur les véhicules venant de sa gauche, a remarqué tardivement la piétonne qui avait traversé les trois quarts d'un passage sécurisé, l'a heurtée et fait chuter.
2.4. Selon les constatations cantonales, qui lient le Tribunal fédéral, le défendeur conduisait, à l'approche du passage pour piétons, à une vitesse constante de l'ordre de 40 km/h, voire un peu moins. Il n'a pas freiné ni même réduit sa vitesse (en " lâchant les gaz "), alors même qu'il connaissait l'existence à cet endroit du passage de sécurité et que, sur 90 mètres avant celui-ci, il a été gêné par le soleil.
A cet égard, le fait qu'il roulait en respectant la limitation de vitesse (fixée à 50 km/h) n'est en soi pas décisif, le conducteur ayant l'obligation de rouler à une vitesse adaptée aux circonstances (cf. supra consid. 2.2). On ne peut donc suivre le recourant lorsqu'il soutient que, par le fait qu'il a respecté la limitation de vitesse, sa situation ne peut être comparée au cas du conducteur qui, également éblouit par le soleil, circulait à 55 km/h sur un passage pour piétons (cf. supra consid. 2.3.1, dernier cas de figure). Ce qui importe c'est qu'en l'occurrence, en raison de la visibilité restreinte du conducteur et de la proximité du passage de sécurité, la vitesse du motocycliste n'était manifestement pas adaptée.
Force est ainsi de conclure que le motocycliste a négligé les précautions élémentaires qui s'imposaient à l'approche d'un passage pour piétons qu'il connaissait, en présence de mauvaises conditions de visibilité.
A cela s'ajoute, à charge du conducteur, qu'il a été établi que celui-ci n'a à aucun moment remarqué la victime qui marchait sur le passage et qui avait déjà traversé pratiquement les trois-quarts de celui-ci (le conducteur étant incapable de dire si la victime traversait de gauche à droite ou de droite à gauche), alors même que le tronçon qu'il empruntait était en ligne droite, que, si les conditions de visibilité étaient mauvaises, celle-ci n'était pas nulle, et qu'au moment de la collision, la victime était sur le passage depuis 7 à 10 secondes. Cela étant, le motocycliste a également fait preuve d'une absence totale d'attention.
Au vu des circonstances et de la violation de l'<ref-law> qui est une règle fondamentale de la circulation, et en dépit d'une vitesse conforme à la limitation prescrite, les autorités précédentes n'ont pas excédé leur important pouvoir d'appréciation en retenant, en se fondant sur la négligence (quant aux précautions élémentaires à prendre) du motocycliste et son absence totale d'attention, une faute grave au sens de l'<ref-law>.
2.5. C'est en vain que le recourant revient sur divers éléments pour infléchir la conclusion à laquelle est parvenue la cour cantonale.
2.5.1. Il insiste à réitérées reprises sur le fait qu'il aurait, à l'approche du passage pour piétons, " bien sûr décéléré, à tout le moins en lâchant les gaz ". Ce constat ne résulte toutefois pas de l'arrêt entrepris, et il ne saurait être pris en compte (cf. supra consid. 1.2). Quant à la mention des deux chiffres (" entre 36 et 51 km/h " et " entre 36 et 44 km/h) mentionnés dans le rapport de l'expert, le recourant n'invoque pas l'arbitraire (art. 9 Cst.) et il n'indique pas en quoi cette double mention pourrait démontrer qu'il était arbitraire, pour les magistrats cantonaux, de retenir une vitesse (constante) de 40 km/h, restant quoi qu'il en soit dans les fourchettes auxquels il fait référence.
La critique n'est pas recevable.
2.5.2. Le recourant soutient que la cour cantonale a fait une confusion entre " vitesse constante " et " vitesse moyenne ", cette dernière notion, qui serait visée par l'expert, étant parfaitement compatible avec la réduction de vitesse (qu'il allègue). Contrairement à ce que pense le recourant, on ne saurait reprocher aux juges précédents d'avoir fait preuve d'inadvertance en choisissant d'utiliser la notion de " vitesse constante " (40 km/h), puisqu'ils ont ajouté explicitement, et sans aucune ambiguïté, que le motocycliste avait roulé à une vitesse constante de 40 km/h " sans réduire sa vitesse à l'approche du passage de sécurité ". Le recourant n'indique pas en quoi cette constatation serait arbitraire; il ne désigne notamment pas les points de l'expertise desquels les juges cantonaux se seraient, selon lui, écartés. Il n'y a donc pas lieu d'entrer en matière sur ce point (cf. également supra consid. 2.5.1 sur la réduction de vitesse alléguée par le recourant).
2.5.3. Le recourant soutient également qu'un laps de temps de 7 à 10 secondes ne permet pas de réfléchir à toutes les conséquences de sa décision. Il estime que son cas est l'exemple typique de la situation dans laquelle il faut tenir compte des limites réflexives de l'" ordinateur humain " et qu'ainsi il convient de ne pas apprécier la faute commise avec une sévérité particulière.
L'argument ne convainc pas. La situation du motocycliste recourant doit être distinguée d'une situation de brève cécité, due par exemple à un éblouissement soudain et inattendu (cf. déjà arrêt entrepris p. 9). Le laps de temps à disposition du conducteur à l'approche du passage pour piétons était, selon l'expérience générale de la vie, largement suffisant pour qu'il prenne conscience des risques potentiels, ce d'autant plus qu'il connaissait l'existence du passage qu'il allait devoir traverser.
2.5.4. Le recourant soutient que la cour cantonale a défini la faute qu'il avait commise en se laissant influencer par les conséquences de l'accident (soit, pour la victime, des lésions importantes) et qu'elle n'a pas apprécié objectivement et ex ante la faute commise.
Les juges précédents ont décrit précisément les précautions élémentaires que le conducteur avait omis de prendre et fait état de son absence totale d'attention. Aucun indice dans le raisonnement des juges cantonaux ne permet d'asseoir la thèse défendue par le recourant.
La critique est sans consistance.
2.5.5. Quant à l'observation de la cour cantonale selon laquelle, même à supposer que la vitesse du motocycliste aurait été de l'ordre de 30 km/h (ce que le recourant soutient toujours), la conclusion aurait été la même, elle est impropre à démontrer (comme le souhaiterait le recourant) que la cour cantonale entendait, en tout état de cause, qualifier sa faute de grave. On peut en effet suivre la cour cantonale lorsqu'elle remarque, dans l'hypothèse d'une vitesse plus réduite, que le temps de parcours aurait alors de facto été allongé, qu'il lui aurait laissé plus de temps pour apprécier les circonstances et que l'absence totale d'attention du motocycliste aurait été encore plus marquée, ce qui justifiait de retenir une faute grave.
2.5.6. S'agissant enfin du constat de la cour cantonale selon lequel le motocycliste aurait dû anticiper les conditions d'ensoleillement (et donc son éblouissement à partir du bâtiment de la poste), puisqu'il connaissait son parcours et la disposition des bâtiments qui, momentanément, ombrageaient la route, il n'y a pas lieu d'y revenir, ce constat n'étant pas susceptible d'avoir une incidence sur le sort de la cause. En effet, il n'importe, pour la qualification de la faute grave, de savoir si le motocycliste pouvait ou non prévoir qu'il allait être gêné par l'ensoleillement; celui-ci n'était pas soudain, mais, s'étant prolongé sur une distance de 90 mètres avant le passage de sécurité, il imposait quoi qu'il en soit au conducteur de réduire sa vitesse.
Les critiques soulevées par le recourant se révèlent infondées.
3.
Il résulte des considérations qui précèdent que le recours en matière civile du conducteur doit être rejeté dans la mesure de sa recevabilité.
Les frais judiciaires et les dépens sont mis à la charge du recourant, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Neuchâtel, Cour d'appel civile.
Lausanne, le 6 octobre 2015
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Kiss
Le Greffier : Piaget