Faits :
A.
A._ (ci-après: l'assuré) a été engagé en qualité d'opérateur sur machines par la société C._ à compter du 1er septembre 2012. A ce titre, il bénéficiait de l'assurance-maladie collective d'indemnités journalières conclue par son employeur auprès de B._ SA (ci-après: B._).
La disposition B4, chiffre 5, des conditions générales applicables à cette assurance prévoit ce qui suit:
" Lorsqu'un assuré malade part à l'étranger, le droit aux prestations cesse pendant toute la durée de son séjour hors de Suisse, sauf accord exprès de B._ donné au préalable ".
L'assuré a été en incapacité totale de travail à partir du 14 octobre 2014. B._ a versé des prestations dès le 13 novembre 2014.
Par courriel du 6 juillet 2015, l'assuré a demandé à B._ l'autorisation d'effectuer un voyage au Portugal du 21 juillet au 20 août 2015. B._ a communiqué son refus par courriel du 9 juillet 2015. Elle a confirmé sa position le 16 juillet 2015, en précisant que si l'assuré devait choisir de partir, ses indemnités journalières ne lui seraient pas versées.
Le 6 août 2015, l'assuré s'est rendu au Portugal en avion.
Contacté par B._ le 10 août 2015 afin de convenir d'un rendez-vous le jour-même, l'assuré a dissimulé sa présence au Portugal. Il a indiqué qu'il n'était pas disponible car il se trouvait en Valais. Un entretien a alors été fixé le lendemain à l'agence de B._ à Sion. L'assuré a pris un avion le soir du 10 août 2015 pour revenir en Suisse et se présenter à cette entrevue. Il n'a pas évoqué ce voyage lors de cette dernière.
Le 8 septembre 2015, au cours d'un entretien auprès de l'agence de B._ à Neuchâtel, l'assuré a admis avoir caché qu'il se trouvait au Portugal le 10 août 2015. Il a également concédé avoir pris un vol afin de pouvoir participer à l'entrevue fixée au 11 août 2015.
B._ a suspendu le versement des indemnités journalières de l'assuré à compter du 30 septembre 2015. Par courrier du 8 décembre 2015, elle l'a informé qu'elle considérait que son comportement tombait sous le coup de l'<ref-law> et qu'elle n'était dès lors pas liée par le contrat d'assurance.
B.
B.a. Le 18 janvier 2019, au bénéfice d'une autorisation de procéder, l'assuré a saisi le Tribunal régional des Montagnes et du Val-de-Ruz d'une demande dirigée contre B._, tendant à la condamner à lui payer, en particulier, le montant de 63'617 fr. 40 avec intérêts, correspondant aux indemnités journalières pour la période du 30 septembre 2015 au 13 octobre 2016.
B._ a déposé une réponse et une demande reconventionnelle. Elle a conclu au rejet de la demande de l'assuré et, à titre reconventionnel, à ce qu'il soit condamné à lui rembourser les indemnités journalières versées du 13 novembre 2014 au 30 septembre 2015, soit une somme de 54'186 fr. 30 avec intérêts.
Par jugement du 31 mars 2020, le tribunal a rejeté la demande et la demande reconventionnelle. Il a considéré que les conditions d'application de l'<ref-law> étaient réalisées. B._ avait ainsi le droit de refuser de prester et de réclamer la restitution des prestations octroyées. L'action en restitution était néanmoins prescrite.
B.b. Statuant le 15 septembre 2020, la Cour d'appel civile du Tribunal cantonal neuchâtelois a rejeté tant l'appel formé par l'assuré que l'appel joint déposé par B._. Elle a confirmé le jugement attaqué.
C.
L'assuré (ci-après: le recourant) a exercé un recours en matière civile au Tribunal fédéral, en concluant principalement à la réforme de l'arrêt entrepris en ce sens que B._ (ci-après: l'intimée) soit condamnée à lui payer le montant de 63'617 fr. 40 avec intérêts. Subsidiairement, il a conclu à l'annulation de cet arrêt et au renvoi de la cause aux " autorités inférieures pour poursuivre l'instruction et statuer sur les conclusions de la demande ".
Dans sa réponse, l'intimée a conclu au rejet du recours.
La cour cantonale s'est référée à son arrêt.
Le recourant a déposé une réplique spontanée. L'intimée a renvoyé à sa réponse.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 30'000 fr. (<ref-law>) et au délai de recours (art. 45 al. 1 et art. 100 al. 1 LTF).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées. Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 et les références citées).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
3.
Invoquant les <ref-law> et 8 CC, le recourant reproche d'abord à la cour cantonale d'avoir établi les faits de manière manifestement inexacte et, notamment, en violation " des dispositionsen matière d'appréciation des preuves ". En particulier, il soutient qu'elle aurait dû retenir que l'intimée avait refusé de manière injustifiée d'autoriser son voyage au Portugal, puisqu'il était en mesure de s'y rendre sans risque pour sa santé.
La cour cantonale a laissé ouverte la question de savoir si le refus de l'assureur d'autoriser ce voyage était ou non justifié sur le plan médical. Elle a considéré que la dissimulation dudit voyage, afin d'obtenir les prestations désirées, possiblement indues, suffisait à la dispenser de cet examen. Dans ces conditions, il est superflu d'analyser l'argument précité du recourant, dès lors qu'il n'aurait quoi qu'il en soit aucune incidence sur le sort de la cause.
Par ailleurs, l'intéressé fait grief aux juges cantonaux d'avoir constaté qu'il avait eu la possibilité de contester la position de l'intimée immédiatement après le courriel du 16 juillet 2015. Les quelques lignes que le recourant consacre à cette critique ne permettent nullement de démontrer en quoi les juges précédents auraient établi ces faits de manière insoutenable. Ce grief doit dès lors être rejeté, pour autant qu'il soit recevable.
4.
Le recourant semble ensuite se prévaloir d'une violation de son droit d'être entendu, dans la mesure où il reproche à la cour cantonale de ne pas avoir rendu une décision motivée sur ses prétentions.
4.1. Le droit d'être entendu garanti par les art. 29 al. 2 Cst. et 53 CPC, qui ont à cet égard la même portée, comprend notamment l'obligation pour l'autorité de motiver sa décision, afin que le justiciable puisse la comprendre et exercer son droit de recours à bon escient. Pour satisfaire à cette exigence, il lui suffit d'exposer, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement. Elle n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à ceux qui, sans arbitraire, peuvent être tenus pour pertinents (<ref-ruling> consid. 4.2 et les références citées).
4.2. En l'espèce, l'instance précédente a motivé clairement et de manière circonstanciée les raisons l'ayant conduite à confirmer le droit de l'intimée de refuser de prester à l'égard du recourant. Le fait que l'autorité cantonale n'a pas statué sur la question du risque du voyage au Portugal pour la santé du recourant ne permet pas de conclure à une violation de son droit d'être entendu. En effet, elle a expliqué le motif pour lequel elle considérait que ce point n'était pas décisif (cf. consid. 3 supra). Le complément apporté par le recourant dans sa réplique est tardif et n'a pas à être pris en considération.
5.
Le recourant allègue ensuite une violation de l'<ref-law>, en faisant valoir que les conditions d'application de cette disposition ne sont pas réalisées. Il soutient qu'au plan objectif, le défaut d'annonce du départ au Portugal ne portait pas sur des faits entourant les circonstances du sinistre, soit les causes de son incapacité de travail, ni sur des faits liés à la fixation de la prestation d'assurance, à savoir son taux d'incapacité de travail. Il n'avait ainsi commis aucune omission d'annonce au sens de l'<ref-law>. Sur le plan subjectif, la dissimulation de son voyage avait pour seul but d'éviter une confrontation avec le représentant de l'assureur, dont l'attitude était agressive, et non de percevoir des indemnités journalières durant ce voyage.
5.1. Sous le titre marginal " prétention frauduleuse ", l'<ref-law> prévoit que si l'ayant droit ou son représentant, dans le but d'induire l'assureur en erreur, dissimule ou déclare inexactement des faits qui auraient exclu ou restreint l'obligation de l'assureur, ou si, dans le but d'induire l'assureur en erreur, il ne fait pas ou fait tardivement les communications que lui impose l'<ref-law>, l'assureur n'est pas lié par le contrat envers l'ayant droit. Selon l'<ref-law>, l'ayant droit doit fournir à l'assureur qui le demande tout renseignement sur les faits à sa connaissance qui peuvent servir à déterminer les circonstances dans lesquelles le sinistre s'est produit ou à fixer les conséquences du sinistre.
D'un point de vue objectif, la dissimulation ou la déclaration inexacte doit porter sur des faits qui sont propres à remettre en cause l'obligation même de l'assureur ou à influer sur son étendue; en d'autres termes, une communication correcte des faits conduirait l'assureur à verser une prestation moins importante, voire aucune. De plus, l'ayant droit doit, sur le plan subjectif, avoir l'intention de tromper. Il faut qu'il ait agi avec la conscience et la volonté d'induire l'assureur en erreur, afin d'obtenir une indemnisation plus élevée que celle à laquelle il a droit; peu importe à cet égard qu'il soit parvenu à ses fins (arrêts 4A_397/2018 du 5 septembre 2019 consid. 5.1; 4A_534/2018 du 17 janvier 2019 consid. 3.1; 4A_613/2017 du 28 septembre 2018 consid. 6.1.1). L'assureur peut alors refuser toute prestation, même si la fraude se rapporte à une partie seulement du dommage (arrêts précités 4A_397/2018 consid. 5.1; 4A_613/2017 consid. 6.1.2 et les références citées; cf. également VINCENT BRULHART, Droit des assurances privées, 2e éd. 2017, n. 815).
5.2. En l'espèce, la cour cantonale a retenu que l'intimée avait refusé d'autoriser le recourant à voyager au Portugal, en lui précisant que s'il devait choisir de partir, ses indemnités journalières ne lui seraient pas versées. Le recourant avait ensuite dissimulé s'être rendu au Portugal. L'autorité précédente a ainsi considéré que s'il avait informé l'intimée de son départ, cette dernière aurait suspendu ses prestations durant le voyage. Dès lors, la cour cantonale a retenu que les déclarations inexactes portaient sur des faits propres à influencer l'étendue de l'obligation de prester de l'assureur, de sorte que la condition objective prévue par l'<ref-law> était remplie. Ces considérations ne sont aucunement critiquables au vu des éléments susmentionnés (cf. consid. 5.1 supra). Contrairement à ce que soutient le recourant, il importe peu que ses déclarations inexactes ne portaient pas sur les causes de son incapacité de travail ou le degré de celle-ci. Le fait qu'il ait été en incapacité totale de travailler n'est pas non plus pertinent dans ce contexte. En réalité, le recourant fonde son argumentation sur une lecture stricte de l'<ref-law>, alors que la cour cantonale n'a même pas examiné spécifiquement cette disposition. L'<ref-law> ne s'applique en effet pas seulement en cas de violation de l'<ref-law>; il a une portée plus large (cf. consid. 5.1 supra).
Sur le plan subjectif, l'autorité précédente a constaté que le recourant avait admis avoir menti et qu'il avait la conscience et la volonté d'induire l'intimée en erreur pour obtenir les prestations voulues. Elle a mis en doute l'argumentation de celui-ci selon laquelle il aurait dissimulé ce voyage dans le seul but d'éviter une confrontation avec le représentant de l'assureur, qui aurait été agressif à son égard. Elle a expliqué qu'aucun élément au dossier ne venait corroborer cette thèse, à l'exception des déclarations du recourant. Ce dernier reproche aux juges cantonaux de ne pas avoir tenu compte de certaines preuves propres à démontrer, selon lui, l'agressivité de l'assureur envers sa personne. Il s'agit là d'une problématique d'appréciation des preuves que le Tribunal fédéral ne peut revoir que sous l'angle restreint de l'arbitraire (art. 9 Cst.). Or, le recourant n'invoque pas ce moyen et se borne à opposer sa propre appréciation à celle de l'autorité précédente, sans en démontrer le caractère arbitraire. Son grief se révèle dès lors irrecevable. Pour le surplus, il importe peu que le recourant ait été convaincu du bien-fondé de sa demande d'autorisation de voyager et, partant, de son départ au Portugal. Il aurait pu et dû contester le refus d'autorisation, mais il n'était en aucun cas dispensé d'informer l'intimée de son voyage hors de Suisse.
Au vu de ce qui précède, la cour cantonale n'a pas violé le droit fédéral en retenant que les conditions d'application de l'<ref-law> étaient réalisées.
6.
Enfin, le recourant soutient que les éléments qu'il a dissimulés ne portaient pas sur des faits justificatifs de prétentions au sens de l'<ref-law>, de sorte que la sanction devait être régie exclusivement par la disposition B4, chiffre 5 des conditions générales de l'intimée. Il y voit une violation du droit fédéral.
La cour cantonale n'a pas violé le droit fédéral en considérant que la disposition précitée des conditions générales de l'intimée ne faisait pas obstacle à l'application de l'<ref-law>, lequel était justement prévu pour les cas de tromperie de la part de l'assuré tel qu'en l'espèce. En effet, l'<ref-law> ne sanctionne pas le recourant en raison du fait qu'il s'est rendu à l'étranger sans l'autorisation de l'intimée, mais au motif qu'il lui a sciemment dissimulé son voyage au Portugal.
7.
En définitive, le recours doit être rejeté dans la mesure où il est recevable.
Le recourant, qui succombe, prendra en charge les frais judiciaires (<ref-law>). Il versera en outre une indemnité de dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le recourant versera à l'intimée une indemnité de 3'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 19 janvier 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz