Faits :
A.
A.a. B.A._ est un horloger spécialisé dans la création de mouvements mécaniques à grandes complications. Jusqu'au début 2010, il travaillait en France comme gérant de l'entreprise D._. Depuis plusieurs années, C._, domiciliée en Allemagne, était en relations d'affaires avec B.A._. En 2009, celui-ci cherchait des investisseurs afin de créer en Suisse une entreprise ayant pour but de produire et commercialiser des montres dotées des mécanismes qu'il avait inventés. C'est ainsi que C._ et D._ - à la tête de l'entreprise suisse E._ SA - ont pris part à des discussions dans le cadre d'un projet intitulé Z._.
A.b. Par contrat du 10 février 2010, C._, a prêté à B.A._ et à son épouse A.A._, encore domiciliés en France, une somme de 340'000 fr. sans intérêts, correspondant aux fonds propres nécessaires à l'acquisition d'une maison sise à la rue xxx, à Neuchâtel. Ce prêt devait être remboursé au moyen du produit de la vente de l'immeuble dont les époux A._ étaient propriétaires en France. Le 18 février 2010, le montant de 340'000 fr. a été versé sur le compte de la Banque F._ indiqué dans le contrat de prêt.
B.A._ et A.A._ n'ont pas acquis la maison de la rue xxx. Par contrat de vente du 20 avril 2010, elle a été achetée par D._ pour le prix de 1'300'000 fr. Le 12 avril 2010, un montant de 300'000 fr. avait été versé par les époux A._ sur le compte de l'avocat neuchâtelois de D._ et E._ SA; il était mentionné que les époux D._ en étaient les bénéficiaires et qu'il correspondait à un "acompte acquisition xxx".
Début mai 2010, les époux A._ se sont installés dans la maison de la rue xxx au bénéfice d'un bail passé avec D._.
A.c. D._ s'est retiré du projet Z._ quelques jours après avoir acquis la villa.
Par la suite, un litige est survenu entre C._, B.A._ et D._ concernant notamment la violation par ce dernier des droits d'auteur sur des mouvements de montres créés par B.A._ et dont C._ était la seule titulaire. Une transaction a été finalement passée entre les parties et a conduit au remboursement d'un montant de 168'000 fr. par D._ à B.A._, qui l'a ensuite reversé à C._.
A.d. Le 14 septembre 2010, H._ SA a été fondée à Neuchâtel. B.A._ n'a participé ni à l'acte de constitution ni au capital social de cette société. En revanche, il a été engagé par H._ SA par contrat de travail du 16 septembre 2010. Celui-ci prévoyait que le lieu de travail de l'employé était à son domicile.
A.e. Le 2 juin 2013, C._ a résilié le prêt de février 2010 pour le 30 septembre 2013 ou le terme le plus proche et a réclamé le remboursement du solde encore dû par 172'000 fr.
B.A._ et A.A._ ont formé opposition aux deux commandements de payer que C._ leur avait fait notifier le 18 décembre 2013.
B.
Au bénéfice d'une autorisation de procéder délivrée le 3 juillet 2014, C._ a saisi le Tribunal civil du Littoral et du Val-de-Travers d'une demande tendant à ce que A.A._ et B.A._ soient condamnés solidairement à lui verser 172'000 fr. avec intérêts à 5% l'an dès le 15 juillet 2013 et à ce que la mainlevée définitive des oppositions soit prononcée. Elle alléguait que les défendeurs avaient remboursé le prêt à concurrence de 168'000 fr., montant versé le 10 janvier 2013 par le biais de Me G._, exerçant à Neuchâtel, de sorte qu'ils restaient redevables de 172'000 fr.
B.A._ et A.A._ ont conclu au rejet de la demande. A titre principal, ils alléguaient que la dette afférente au prêt avait été reprise par D._, au terme d'un accord passé avec C._. Ils invoquaient subsidiairement la compensation avec une créance résultant de la liquidation d'une société simple que B.A._ aurait formée avec C._ en vue d'un projet industriel commun lié à la fabrication et à la distribution de montres.
Par jugement du 30 janvier 2020, le Tribunal civil a condamné A.A._ et B.A._, solidairement, à payer à C._ la somme de 172'000 fr. avec intérêts à 5% l'an dès le 18 décembre 2013 et a prononcé la mainlevée définitive des oppositions formées par les défendeurs.
Par arrêt du 13 août 2020, la Cour d'appel civile du Tribunal cantonal neuchâtelois a rejeté, dans la mesure de sa recevabilité, l'appel interjeté par les époux A._ contre le jugement de première instance. Les considérants de cette décision seront exposés en tant que nécessaire dans la partie en droit.
C.
A.A._ et B.A._ interjettent un recours en matière civile. Ils concluent principalement à l'annulation de l'arrêt cantonal et au rejet de la demande.
C._ propose le rejet du recours.
La réponse de l'intimée a été suivie d'observations des recourants.
La demande d'effet suspensif des recourants a été rejetée par ordonnance présidentielle.
Invitée à se déterminer, la cour cantonale se réfère aux considérants de sa décision.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par le tribunal supérieur institué comme autorité cantonale de dernière instance, lequel a statué sur recours (<ref-law>). La cause atteint la valeur litigieuse de 30'000 fr. ouvrant le recours en matière civile dans les affaires pécuniaires ne relevant ni du droit du travail ni du droit du bail à loyer (<ref-law>). Les recourants, qui ont succombé dans leurs conclusions libératoires, ont la qualité pour recourir (<ref-law>). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est en principe recevable, sous réserve de l'examen des griefs particuliers.
2.
2.1. Le recours en matière civile peut être exercé pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4; <ref-ruling> consid. 2, 115 consid. 2; <ref-ruling> consid. 1.3). Par exception à la règle selon laquelle il applique le droit d'office, il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). "Manifestement inexactes" signifie ici "arbitraires" (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2.3). Si elle souhaite obtenir un complètement de l'état de fait, la partie doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (ATF <ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En matière de constatations de fait et d'appréciation des preuves, il y a arbitraire lorsque le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, lorsqu'il a omis sans raisons objectives de tenir compte des preuves pertinentes ou encore lorsqu'il a tiré des déductions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3; <ref-ruling> consid. 2.1).
3.
La cause présente un élément d'extranéité puisque les parties ne résidaient pas en Suisse lorsqu'elles ont conclu le prêt litigieux. Dans leurs écritures, tant la demanderesse que les défendeurs se sont constamment référés au droit suisse, lequel s'applique dès lors en vertu d'une élection de droit tacite (<ref-law>).
4.
Selon l'arrêt attaqué, l'intimée a consenti le prêt de 340'000 fr. pour les besoins strictement privés des recourants, afin qu'ils disposent des fonds propres nécessaires à l'acquisition d'une maison d'habitation familiale. Or, les recourants n'ont pas acheté la villa en cause. La cour cantonale constate à cet égard que, selon les parties unanimes, les recourants ont renoncé à l'achat prévu parce qu'ils pensaient, sur la base d'un renseignement erroné, que l'immeuble ne pouvait pas être acquis par des personnes n'ayant pas la nationalité suisse. La maison a finalement été acquise par D._, lequel l'a louée aux emprunteurs. Préalablement, le recourant avait versé à l'acheteur, le 12 avril 2010, un montant de 300'000 fr. à titre d'"acompte" pour l'acquisition de la villa, prélevé du compte sur lequel le montant du prêt avait été viré par l'intimée.
La cour cantonale a jugé que ce versement de 300'000 fr. n'avait pas eu pour effet de délier les recourants de l'obligation de rembourser le prêt dans la même mesure, faute d'un accord entre l'intimée et D._ sur la reprise (privative) de la dette des emprunteurs, respectivement sur le transfert du contrat de prêt.
5.
Dans un premier moyen, les recourants reprochent à la cour cantonale d'avoir violé le principe jura novit curia consacré à l'<ref-law> en n'examinant pas si le versement du 12 avril 2010 au futur acquéreur de la maison avait un effet libératoire selon les dispositions sur l'assignation (<ref-law>). Les recourants font valoir que le transfert de l'argent du prêt à D._ est intervenu sur instruction de l'intimée. La dette des emprunteurs - assignés - envers la prêteuse - assignante - aurait ainsi été éteinte à concurrence de 300'000 fr. par le paiement de ce montant à un tiers assignataire.
5.1. Malgré les termes utilisés dans la version française de l'<ref-law>, l'assignation n'est pas un contrat, mais une double autorisation unilatérale émanant de l'assignant. Par la première manifestation de volonté, l'assignant autorise l'assigné à effectuer une prestation en faveur de l'assignataire; par la seconde, il permet à l'assignataire de recevoir de l'assigné ladite prestation. L'assignation n'oblige pas l'assigné, mais constitue une tentative de l'assignant de remettre une prestation à l'assignataire par l'entremise de l'assigné (<ref-ruling> consid. 5.2 et les références). Elle se greffe sur des rapports générateurs d'obligations: le rapport de couverture (ou de provision), en vertu duquel l'assigné est débiteur de l'assignant ou le devient (<ref-law>), et le rapport de valeur, en vertu duquel l'assignant est débiteur de l'assignataire ou le devient (<ref-law>) (TERCIER/BIERI/CARRON, Les contrats spéciaux, 5e éd. 2016, nos 5536-5537 p. 815, nos 5552-5553 p. 818; SILVIA TEVINI, in Commentaire romand, Code des obligations I, 2e éd. 2012, n° 2 ad <ref-law>).
5.2. Les recourants prétendent avoir viré le montant de 300'000 fr. à D._ sur la base d'une assignation de l'intimée, laquelle aurait eu un effet libératoire. Ils se méprennent toutefois sur la nature juridique de l'assignation, qui est un mode d'exécution d'obligations. Selon les constatations de la cour cantonale, l'intimée, lors de son interrogatoire, n'a pas contesté avoir donné instruction au recourant de virer la somme d'environ 300'000 fr. à D._, mais elle a indiqué que, dans son esprit, son débiteur restait le recourant; aucune autre précision sur le contenu de cette instruction ou son contexte ne figure au dossier, comme l'autorité précédente le relève. En tout cas, il n'apparaît pas que, par cette instruction donnée dans des circonstances peu claires au recourant (prétendu assigné), l'intimée (prétendue assignante) cherchait à exécuter une obligation de prêteuse envers D._ (prétendu assignataire). Or, le virement de 300'000 fr. précité n'était susceptible d'éteindre la dette des recourants en restitution de la somme prêtée (rapport de couverture) que s'il existait un contrat entre l'intimée et D._ (rapport de valeur). C'est dire que les recourants ne sont pas dispensés de prouver le transfert du contrat de prêt à D._ ou une reprise de dette par ce dernier. Le moyen tiré d'une prétendue assignation est dépourvu de tout fondement.
6.
Dans une motivation qualifiée de subsidiaire qui ne brille guère par sa clarté et sa concision, les recourants invoquent "une forte présomption juridique en faveur de (leur) libération par le truchement d'une reprise de dette privative". Cette conclusion serait fondée sur "le but déclaré dans le contrat et (sur) toutes les circonstances de fait et de droit entourant l'opération". La thèse des recourants, si on la saisit bien, serait la suivante: dans le cadre du projet Z._, les futurs partenaires de l'entreprise à fonder - dont les parties et D._ - auraient été liés par un contrat de société simple, auquel se seraient ajoutés des accords-satellites - dont le contrat de prêt litigieux - à interpréter conformément au but poursuivi par la convention de base. Dans ce contexte, le prêt de l'intimée aux recourants devrait s'interpréter comme un apport financier d'une sociétaire permettant l'acquisition d'un immeuble pour les besoins du projet commun, et non comme une affaire privée entre les parties à la présente procédure. En conséquence, lorsque le recourant aurait appris que, par décision unilatérale de la prêteuse, l'immeuble serait acquis par un autre sociétaire auquel il devait transférer 300'000 fr., il aurait compris, selon le principe de la confiance, qu'il était complètement libéré de son obligation de remboursement de la somme prêtée.
Les recourants reprochent ainsi à la cour cantonale d'avoir nié la reprise de dette par D._ sur la base d'une analyse ignorant le contexte de la société simple du projet Z._ et "la présomption juridique en faveur de la libération des recourants qui en découle". Les juges neuchâtelois auraient également violé l'<ref-law> en jugeant qu'une reprise de dette au sens de l'<ref-law> entre D._ et les recourants n'avait pas été prouvée par ceux-ci, alors qu'il aurait appartenu à l'intimée, qui soutenait que les recourants étaient toujours ses débiteurs, de prouver la cause du transfert de 300'000 fr. à D._, soit un prêt des recourants à celui-ci.
6.1. Il est établi que l'intimée a accordé aux recourants un prêt de 340'000 fr. sans intérêts (<ref-law>) afin qu'ils disposent des fonds propres suffisants pour acquérir la maison de la rue xxx. Pour leur part, les emprunteurs devaient restituer la somme prêtée à la prêteuse (<ref-law>). Contrairement à ce que les recourants suggèrent, la réalisation ou non du but pour lequel le prêt a été octroyé ne change rien à cette obligation. Outre qu'elle se fonde de manière irrecevable sur des faits qui ne sont pas constatés dans l'arrêt attaqué, est ainsi dénuée de pertinence toute la partie du recours qui entend tirer argument d'un prétendu choix par l'intimée de l'acquéreur final de la maison ou encore d'une prétendue affectation partielle de la maison pour le projet commun.
En revanche, les recourants pouvaient se libérer de leur obligation de restitution par le mécanisme de la reprise de dette. Celui-ci débute le plus souvent par un contrat passé entre le débiteur et le reprenant, celui-ci promettant à celui-là de le libérer de sa dette envers le créancier (reprise de dette interne au sens de l'<ref-law>). Il faut ensuite la conclusion d'un contrat entre le reprenant et le créancier (reprise [privative] de dette externe au sens de l'<ref-law>) pour que l'ancien débiteur soit libéré (<ref-ruling> consid. 3.4.3.2; <ref-ruling> consid. 3b).
La reprise de dette externe est un contrat qui n'est soumis à aucune condition de forme. L'<ref-law> pose la présomption réfragable que la communication au créancier par le reprenant (ou par le débiteur en tant que représentant direct du reprenant) du contrat de reprise de dette interne est une offre du reprenant de conclure un contrat de reprise de dette externe avec le créancier (THOMAS PROBST, in Commentaire romand, Code des obligations I, 2e éd. 2016, nos 6/7 ad <ref-law>). Le consentement du créancier peut intervenir tacitement (<ref-law>), en particulier lorsque l'offre de reprise est avantageuse pour lui (<ref-ruling> consid. 2b); il se présume lorsque le créancier accepte - sans aucune réserve - un paiement de la part du reprenant ou consent à d'autres actes accomplis par le reprenant à titre de débiteur (<ref-law>).
6.2. Conformément à l'<ref-law>, il appartenait aux recourants, qui prétendaient être libérés de leur obligation de restitution, de prouver l'existence d'une reprise de dette externe, c'est-à-dire d'établir que la prêteuse avait accepté que D._ se substitue à eux comme débiteur.
L'éventuel consentement de la créancière supposait nécessairement que le soi-disant reprenant eût manifesté la volonté, fût-ce par acte concluant, de libérer les débiteurs de leur dette envers l'intimée.
Sur ce point, la cour cantonale a jugé tout d'abord que l'existence d'une reprise de dette interne entre D._ et les recourants n'avait pas été prouvée "à mesure qu'une telle reprise n'[était] pas la seule explication possible au transfert de 300'000 fr. survenu le 12 avril 2010"; elle évoque à ce propos la possibilité que les recourants aient transféré l'argent à D._ en exécution d'un prêt entre eux, l'emprunteur étant chargé d'acheter la maison à titre fiduciaire pour les recourants. Plus loin, la cour cantonale constate qu'aucun élément du dossier ne permet de retenir que D._ aurait manifesté la volonté, par écrit ou acte concluant, de prendre la place des recourants comme débiteur de l'intimée; au contraire, il ressort des échanges de courriels entre le beau-fils de l'intimée et l'avocat de D._ que ce dernier ne souhaitait pas reprendre la dette de 340'000 fr. des recourants envers l'intimée.
Le seul comportement direct de D._ susceptible d'être interprété en l'occurrence est le fait qu'il a accepté de recevoir le montant de 300'000 fr. versé par les recourants avant d'acheter la maison à son nom. Contrairement à ce que les recourants soutiennent, ce n'était pas à l'intimée d'établir la cause de ce transfert d'argent, mais bien à eux de prouver que D._ avait promis de reprendre leur dette et formulé, expressément ou tacitement, une offre dans ce sens à l'intimée créancière. Or, comme la cour cantonale le relève à juste titre, l'acte décrit plus haut ne peut manifestement pas être compris comme la manifestation d'une volonté de D._ de reprendre la dette de 340'000 fr. souscrite envers l'intimée par les recourants. Ces derniers ne le prétendent du reste pas, eux qui se sont concentrés en pure perte sur le soi-disant comportement de l'intimée tel qu'il pouvait être compris de bonne foi par le recourant au moment du transfert du montant de 300'000 fr.
Il s'ensuit que, faute d'avoir prouvé l'un des éléments d'une reprise de dette externe, les recourants ne sont pas libérés de l'obligation de rembourser à l'intimée la somme qu'elle leur a prêtée. La cour cantonale n'a dès lors pas violé le droit fédéral en admettant la demande de la prêteuse.
7.
Sur le vu de ce qui précède, le recours ne peut être que rejeté dans la mesure où il est recevable.
Les recourants, qui succombent, prendront solidairement à leur charge les frais judiciaires (art. 66 al. 1 et 5 LTF). Ils verseront en outre des dépens à l'intimée (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'500 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants, débiteurs solidaires, verseront à l'intimée une indemnité de 6'500 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 15 juillet 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Godat Zimmermann