Faits : A. A.a. En vue de conclure un contrat d'assurance-maladie avec B._ SA (ci-après: la compagnie d'assurances ou l'assureur), A._ (ci-après: le proposant ou l'assuré), né le 24 janvier 1950, a rempli deux questionnaires, les 18 mai (questions relatives à la proposition d'assurance) et 7 juin 2004 (questionnaire de santé). Il ressort des réponses à ce dernier questionnaire que le proposant niait souffrir du diabète, avoir été opéré ou traité par rayons, avoir séjourné dans un hôpital ou encore qu'il y ait eu, dans sa famille proche des cas, notamment, de diabète et de maladies du coeur. Il a également déclaré n'avoir pas consulté un médecin au cours des cinq années précédentes et n'avoir pas été en incapacité de travail plus de quatre semaines pendant la même période. S'étant renseigné auprès du médecin traitant du proposant, l'assureur a appris, dans un rapport du 6 juillet 2004, que ce dernier avait eu un infarctus fin 1999, avait été opéré d'une hernie en 1998 et présentait une surcharge pondérale. Au vu de ces informations, l'assureur a décidé, au moment de conclure le contrat d'assurance (le 4 août 2004), d'exclure toute prestation en cas d'incapacité de travail due à une affection cardiaque ou respiratoire. Dès le mois d'août 2005, l'assuré s'est trouvé dans l'incapacité de travailler en raison de douleurs aux jambes, ce qu'il communiqua à l'assureur le 14 novembre 2005. A la demande de l'assureur, le médecin traitant délivra le 22 novembre 2005 un certificat dont il ressort que l'assuré souffre de diabète depuis l'automne 2004, qu'il a été hospitalisé neuf jours en fin d'année 2004 et qu'il a été en arrêt de travail quatre fois en 2005. A.b. Par courrier du 8 décembre 2005 adressé à l'assuré, l'assureur invoqua une réticence au sens de l'art. 6 LCA et déclara résoudre le contrat d'assurance en application de l'art. 25 LCA, la prime annuelle lui restant acquise en intégralité. Il reproche à l'assuré de ne pas avoir répondu avec sincérité aux questions qui lui étaient posées dans la proposition d'assurance et qu'il avait passé sous silence " de nombreuses affections chroniques et importantes (sans plus de précisions) ". L'assuré a contesté que les conditions légales d'une réticence soient remplies. A.c. Par courrier du 7 juin 2006 adressé à l'assurance de protection juridique de l'assuré, l'assureur a indiqué que, selon des pièces médicales qu'il a reçues le 30 mai 2006, l'assuré avait encore commis " une autre réticence " en ne signalant pas qu'il souffrait depuis plusieurs années de troubles concernant un manque de sensibilité dans les membres inférieurs. Il ajoute que l'assuré " a menti lors de la conclusion du contrat - en se déclarant en parfaite santé - en passant sous silence un état de santé fortement dégradé ". A.d. Par courrier du 13 mars 2008, l'assureur a indiqué à l'assuré avoir appris des éléments nouveaux justifiant une troisième dénonciation du contrat, toujours pour réticence. Il a été informé, à la lecture d'un rapport médical qui lui a été remis le 21 février 2008, que l'assuré a consulté son médecin à 41 reprises dans les cinq ans qui ont précédé la signature du questionnaire d'assurance. La cour cantonale retient à cet égard que " si l'on pouvait admettre que le rapport du médecin traitant du 6 juillet 2004 pouvait laisser supposer un certain nombre de visites médicales, il était hautement vraisemblable que si la [compagnie d'assurances] avait disposé à cette époque de l'information en question, elle aurait pris davantage de précautions ". B. Dans l'intervalle, le 20 décembre 2006, l'assuré a ouvert action contre la compagnie d'assurances auprès des tribunaux neuchâtelois, concluant à ce que celle-ci soit condamnée à lui payer la somme de 110'000 fr. avec intérêts à 5 % l'an dès le 25 août 2005. L'assureur a conclu au rejet de la demande. Par jugement du 25 mai 2011, la Cour civile du Tribunal cantonal neuchâtelois a rejeté la demande avec suite de frais et dépens. Saisie d'un appel formé par l'assuré, la Cour d'appel civile du Tribunal cantonal neuchâtelois, par arrêt du 14 mai 2012, a rejeté l'appel avec suite de frais et dépens. Saisie d'un recours en matière civile interjeté par l'assuré, le Tribunal fédéral, par arrêt du 4 décembre 2012, a annulé la décision cantonale et renvoyé la cause à l'autorité précédente pour nouvelle décision. Il a en particulier considéré que l'état de fait contenu dans la décision cantonale était totalement insuffisant pour permettre de contrôler que les conditions légales d'une réticence étaient réunies (arrêt 4A_370/2012). C. Par arrêt du 16 mai 2014 " après renvoi ", la Cour d'appel civile a rejeté une nouvelle fois l'appel et confirmé le jugement du 25 mai 2011. D. L'assuré exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 16 mai 2014. Il conclut à son annulation, à ce qu'il soit constaté qu'il n'a pas commis de réticences, que les réticences invoquées les 8 décembre 2005, 7 juin 2006 et 13 mars 2008 sont tardives, à ce qu'il soit dit que la police d'assurance conclue le 4 août 2004 avec la compagnie d'assurances était valable au moment de la survenance du risque assuré et à ce que l'assurance soit condamnée à lui verser le montant de 110'000 fr., avec intérêts moratoires à 5% l'an en sus, dès le 25 août 2005. Subsidiairement, l'assuré conclut à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale. La compagnie d'assurances conclut au rejet du recours dans la mesure de sa recevabilité. Le recourant a déposé des observations.