Faits :
A.
A.a. Par contrat de bail à loyer du 2 mars 2015, H.X._ et F.X._ ont pris à bail un appartement de quatre pièces d'une surface approximative de 126 m2, avec trois chambres à coucher, dans un bâtiment de Lausanne. Prévu pour durer initialement du 1er avril 2015 au 1er avril 2016, le contrat devait se renouveler ensuite tacitement d'année en année, sauf avis de résiliation donné au moins trois mois à l'avance pour la prochaine échéance. Le loyer mensuel net s'élevait à 3'200 fr., auquel s'ajoutait un acompte mensuel de chauffage, eau chaude et frais accessoires de 300 fr.
Dès le 24 mai 2016, le contrat a lié les locataires à Z._, dorénavant propriétaire et bailleresse de cet appartement.
A.b. Dès le mois de mai 2016, F.X._ a rencontré des difficultés de voisinage avec les époux A._, copropriétaires de l'appartement situé au-dessous de celui habité par elle.
Les tensions ont commencé lorsque F.X._ a sonné à la porte de la famille A._ pour se plaindre du bruit provenant de leur logement. F.A._ lui a alors indiqué qu'elle et sa famille n'avaient jamais eu de problème de voisinage auparavant et qu'il convenait de s'adresser à la gérance. Estimant la conversation terminée, elle s'apprêtait à fermer la porte, lorsque F.X._ a placé sa main et un pied au travers de celle-ci. F.A._ s'est alors sentie agressée.
Une deuxième altercation est survenue à la fin du mois de juin 2016, lorsque le chien des époux A._, échappant à la garde de leur fille, a abîmé le pantalon de F.X._. Celle-ci a alors enjoint, en criant, à la fille des époux A._ de sortir le chien, faute de quoi elle « donnerait un coup de pied ». Lors de son audition en qualité de témoin, F.A._ a déclaré à ce sujet que sa fille ne savait pas si le coup de pied serait destiné à elle ou au chien; elle avait alors manifesté son mécontentement auprès de F.X._, lui disant notamment qu'elle était déplaisante et qu'elle avait « des histoires avec d'autres personnes ». Lors de cette même audition, elle a précisé qu'elle avait connaissance de reproches des voisins B._, C._ et D._ concernant le chat des époux X._.
Le 30 juin 2016, F.X._ a adressé un courriel à H.A._ dont on extrait le texte ci-après:
Considérant que nous sommes voisins, j'ai eu l'occasion de croiser votre épouse dans le couloir; pendant ces rencontres, elle m'a expliqué qu'elle me trouvait fortement déplaisante, qu'elle ne s'étonnait pas que moi, " j'avais des histoires avec des personnes ". Hier, votre chien s'est jeté sur mes pantalons, et à la place de s'en excuser, votre épouse m'a fait savoir " qu'elle va parler de moi avec ses voisines ". Je trouve ce comportement très irritant, et je ne vais pas hésiter à me défendre contre ça, si nécessaire en contactant les services compétents. A titre informatif, je vous laisse parvenir une brochure d'information concernant ces sujets, établie par le canton de Vaud. Nous ne souhaitons, en conséquence, aucun contact avec vous ou des membres de votre famille.
Une troisième altercation est survenue le 26 octobre 2016, jour de lessive des époux X._, lorsque F.A._ a décidé d'utiliser sa propre machine à laver installée dans la buanderie commune. F.X._ a fait appel à la police municipale de Lausanne qui est intervenue sur place et qui a relaté ce qui suit dans son rapport :
[Nous] rencontrons Mme F.X._, laquelle a eu un litige avec sa voisine, soit Mme F. A._, à propos du jour d'accès à la buanderie. En effet, alors qu'elle faisait usufruit de son jour de lessive, sa voisine est venue dans la buanderie. Là, le litige verbal a commencé. Sa voisine l'a accusée d'employer son statut au tribunal fédéral contre les voisins. De plus, Mme F. A._ lui a dit qu'elle avait déposé des plaintes à son encontre. Elle n'aime pas que son image soit salie. Elle trouve que c'est de la diffamation (pas de plainte). Mme F. A._ nous dit que Mme F.X._ s'est montrée hystérique ce soir à cause de la buanderie. De plus, elle trouve inadmissible que son mari lui ait envoyé un mail à propos du bruit qu'il faisait. De plus, Mme F. A._ nous dit que tous les voisins ne supportent plus son comportement. Conseillons aux 2 parties de s'adresser à la gérance pour la suite.
A.c. F.X._ a informé la gérance de ces événements en ces termes :
A titre informatif, je vous signale que nous avons dû, mercredi 26 octobre 2016, faire venir la police au sujet de la famille A._ qui habite au- dessous de nous. Ce jour là, nous sommes revenus de vacances. Vu que c'est, aussi, le jour que nous avons le droit d'utiliser la buanderie, je suis descendue pour étendre du linge. Dans la buanderie, j'ai croisé M me F. A._ qui me faisait savoir que vu qu'elle était propriétaire, elle faisait du linge quand elle voulait, que contre moi, de toute façon, il y avait des plaintes déposées et que le fait que je travaillais au tribunal fédéral ne me mettait pas dans une position de croire que tout m'était permis. Je maintiens que je ne souhaite aucun contact avec des personnes qui nous abordent d'une telle honteuse façon, que nous avons sollicité la police à leur sujet et continuerons à la solliciter.
Dans un courriel du 31 octobre 2016, la gérance a répondu à F.X._ que la machine à laver privée de F.A._ se trouvait dans la buanderie depuis 2005 et que les copropriétaires lui avaient octroyé le droit d'utiliser la buanderie même s'il s'agissait du jour de lessive d'un autre résident. Lors de son audition, F.A._ a par ailleurs déclaré qu'elle utilisait sa propre machine lorsque la buanderie était libre et qu'elle n'y étendait pas de linge le jour de lessive d'un autre usager. Le 26 octobre 2016, elle avait cru que les époux X._ étaient absents parce qu'elle ne voyait pas leur voiture.
A.d. Les copropriétaires - à l'exception de la bailleresse - se sont réunis pour réfléchir à la manière de « mettre fin à ces venimeuses querelles de clocher » et ils ont convenu d'inviter F.X._ à une assemblée des copropriétaires extraordinaire pour « la prier de respecter l'esprit de cohabitation constructif qui anime leur copropriété depuis des années », définir un mode de résolution des conflits et mettre à plat les désaccords entre voisins.
La gérance a proposé à F.X._ de participer à cette assemblée afin de « mettre à plat les désaccords et d'obtenir un dialogue constructif avec les résidents ».
La locataire a répondu à la gérance dans les termes suivants:
Par principe, je trouve un dialogue constructif toujours une bonne solution. Pourtant, la situation actuelle fait, à mon avis, exception (...). Selon mon expérience, des situations pareilles s'aggravent quand on leur offre une plateforme. J'aimerais, aussi, attirer votre attention sur le fait qu'on paie un loyer considérable (Fr. 3'500.-) pour cet appartement, que je travaille et éduque un enfant et que je ne ressens aucun besoin de résoudre, en plus, gratuitement et dans mon temps libre, les problèmes personnels de Mme F. A._. La locataire antérieure mentionnait le bruit causé par cette famille, nous nous en souffrons et le prochain locataire en souffrira aussi si vous ne communiquez pas clairement les limites (...). En tout cas, je maintiens que je ne souhaite aucun contact avec la famille A._, et pour cette raison je ne participerais pas à une assemblée pareille.
A.e. Après que F.X._ eut écrit à ses voisins pour leur demander de ne pas laisser entrer son chat dans le bâtiment, l'une des copropriétaires - B._ - lui a écrit le 28 novembre 2016 pour lui faire savoir que les copropriétaires avaient toujours su s'entendre et que les « petits » différends s'étaient toujours réglés simplement, depuis plus de seize ans.
A.f. Dans un courrier adressé à la gérance le 23 mai 2017, H.X._ et F.X._ ont résilié le contrat en ces termes:
Par cette lettre, nous résilions le contrat de bail que nous avons conclu pour l'appartement situé... à Lausanne... pour le 31 août 2017. Avec votre accord, nous quitterons l'appartement déjà le 30 juin 2017. Si vous n'êtes pas d'accord, nous vous présenterons des candidats prêts à reprendre le bail (article 264 CO)...
Par courrier du 24 mai 2017, la gérance a attiré leur attention sur le caractère anticipé de la résiliation. Les locataires pouvaient être libérés avant l'échéance du contrat s'ils proposaient un candidat solvable, de bonne moralité et prêt à reprendre le bail aux mêmes conditions. A défaut, ils devraient s'acquitter du loyer et des charges jusqu'à l'expiration de la durée du bail, soit le 1er avril 2018.
Dans un courriel adressé à la gérance le 26 mai 2017, F.X._ s'est exprimée comme suit :
Votre lettre du 24 mai 2017 par laquelle vous n'acceptez pas notre résiliation de bail nous est bien parvenue. Considérant que nous préférons des solutions agréables à des solutions conflictuelles, nous continuons à chercher un locataire qui est prêt à reprendre l'appartement et espérons que vous faites, comme convenu, la même chose de votre côté (vous êtes obligés à aider à réduire un dommage éventuel sous l'angle de la bonne foi). [Néanmoins, afin de] mettre les choses au clair : u ne continuation du contrat de bail nous est insupportable, considérant que nous partageons actuellement l'immeuble avec des gens qui veulent nous facturer des dommages imaginaires causés par notre chat, nous accusent à tort de vouloir taper leur gamine et me suivent jusqu'à la buanderie pour nous accuser d'être des gens malhonnêtes impliqués « dans des histoires ». Nous avons même dû faire [ venir] la police à cause d'eux. Pour toutes ces raisons, nous allons vous faire parvenir, aussi, une résiliation du contrat de bail pour juste motif, malgré le fait que nous aurions préféré trouver une solution à l'amiable.
Dans un autre courriel adressé le même jour à la gérance, elle a ajouté ce qui suit:
Notre résiliation de contrat de bail pour juste motif est d'aut an t plus justifiée par le comportement de votre régie. Même pour des e-mails très simples et polis - comme une demande de ne pas laisser activement rentrer le chat dans les couloirs pendant notre absence - nous avons eu droit à des e-mails disant que même ça était de notre faute, à d'autres e-mails pleins de points d'exclamation et à d'autres remarques insensées dans les couloirs. Suite à ces tensions insoutenables, nous avons passé tous les week-end loin de cet appartement. Cette situation est absolument intolérable et nous sommes très soulagés d'avoir trouvé un autre appartement.
A.g. Enfin, dans un courrier adressé à la gérance le 28 mai 2017, les locataires ont encore écrit ce qui suit :
N ous nous référons à votre lettre du 25 mai 2017, par laquelle vous nous avez annoncé que vous voul iez maintenir le contrat de bail jusqu'au 1er avril 2018. Nous aurions, malgré les circonstances, préféré trouver une solution à l'amiable, mais nous comprenons que ça ne sera pas possible. Pour cette raison, nous vous faisons parvenir notre résiliation de bail avec effet immédiat (article 259b let. a CO), eventualiter notre congé extraordinaire (article 266g CO). Sachez que nous continuons, néanmoins, activement à chercher un locataire qui reprendrait notre bail, et attirons votre attention sur le fait que vous êtes tenue de faire la même chose...
A. Etat de fait (...)
B. Résiliation de bail avec effet immédiat (article 259b CO)
(...) Le comportement de la famille A._ et de Mme B._, qui nous ont empêché d'accéder à et de circuler tranquillement dans l'immeuble ainsi que d'utiliser la buanderie pendant les jours réservés, nous a fortement perturbé set remplit cette condition. Considérant que ce défaut était signalé à E._ immobilier ainsi qu'à la propriétaire de l'appartement loué, et que ceux-ci n'ont entamé aucune démarche utile pour empêcher (...) que ce comportement envers nous se reproduise, nous sommes habilités après l'échéance du temps nécessaire pour trouver un autre appartement (...) à résilier le bail avec effet immédiat. Nous nous réservons tous nos droits à des dommages-intérêts, surtout sous forme de réduction de loyer, ainsi que les frais causés par les week-end que nous avons passé s loin de l'appartement...
C. Eventualiter: Résiliation pour des justes motifs (article 266g CO)
Comme position éventuelle, nous faisons valoir que le comportement des familles A._ et/ou B._ et/ou E._ immobilier (...) ainsi que le fait que notre famille s'agrandira, constituent des justes motifs pour lesquels l'exécution du contrat de bail nous devient intolérable. Cette lettre contient, donc, aussi, une résiliation du bail pour justes motifs.
A.h. Par courrier du 30 mai 2017, la gérance a rappelé aux locataires que leur résiliation revêtait un caractère anticipé, qu'il leur appartenait de trouver un locataire de remplacement et que leur résiliation pour justes motifs n'était pas acceptée. Elle a précisé qu'elle avait immédiatement proposé le logement à (re-) louer sur différents sites de location et invité les locataires à en faire de même par le biais d'annonces dans les journaux et les sites internet. La gérance a invité les locataires à activer leurs recherches pour trouver un successeur « avec bien entendu [son] soutien ». Elle a encore ajouté que le genre de conflit que les locataires avaient pu rencontrer n'existait pas avant leur arrivée.
A.i. Les locataires ont fait paraître une annonce pour l'appartement sur le site internet anibis.ch.
Le 8 juin 2017, G._ a contacté F.X._ par courriel afin de visiter l'appartement. E lle a indiqué qu'elle était « très intéressée », mais qu'elle ne pouvait pas se libérer pour les dates indiquées sur le site internet. Elle a prié F.X._ de lui proposer une autre date, entre les 12 et 22 juin 2017.
La locataire lui ainsi répond u par courriel du même jour :
Est-ce que vous avez une raison particulière po ur laquelle vous n'avez, pendant tout ce temps là, jamais pu venir pendant les visites officielles ou vous voulez juste me faire comprendre que vos engagements professionnels et familiaux sont plus importants que les miens?
Après s'être rendue dans l'appartement en cause, G._ a informé la gérance des conditions de sa visite par courriel du 19 juin 2017. Elle a relaté que F.X._ n'avait pas daigné lui serrer la main et lui avait fait comprendre qu'elle n'était pas la bienvenue. Elle a exposé que la visite s'était déroulée dans une ambiance glaciale et expéditive, qu'elle n'avait pas osé prendre le temps de bien examiner l'appartement, ayant l'impression de déranger et se sentant mal à l'aise, et qu'elle avait finalement écourté son rendez-vous. Elle a enfin prié la gérance de la recontacter pour une autre visite une fois que l'appartement serait vide.
Les locataires n'ont finalement présenté aucun candidat de remplacement à la gérance. L'état des lieux de sortie a eu lieu le 27 juin 2017. Les locataires ont acquitté le loyer jusqu'au mois de mai 2017.
A.j. Par courrier du 18 juillet 2017, la bailleresse a rappelé aux locataires leurs obligations découlant de l'<ref-law>.
A.k. La gérance a fait paraître des annonces concernant l'appartement sur plusieurs sites internet. Le logement a été proposé d'abord au prix de 3'200 fr. par mois, puis dès le 4 octobre 2017 à 3'000 fr., et enfin, dès le 10 novembre 2017, au prix de 2'800 fr. par mois. La gérance a en outre fait paraître une annonce dans le journal 24heures immobilier du 8 novembre 2017, où l'appartement a été proposé pour un loyer mensuel net de 3'000 fr. par mois, plus 300 fr. de charges.
A.l. Le 10 août 2017, la bailleresse a fait notifier des commandements de payer par l'office des poursuites du district de la Sarine. Elle usait de la poursuite par voie de réalisation du gage mobilier, le gage consistant dans la garantie de loyer au montant de 9'600 fr. constituée par F.X._ auprès d'un établissement bancaire. Ces commandements de payer ont été frappés d'opposition totale.
A.m. F.X._ a donné naissance à son deuxième enfant le 27 septembre 2017.
B.
B.a. Le 27 octobre 2017, H.X._ et F.X._ ont saisi le Tribunal des baux du canton de Vaud d'une demande tendant à ce que la bailleresse soit condamnée à leur verser la somme de 23'937 fr.60, avec intérêts, et à ce qu'il soit constaté que le bail avait pris fin le 30 juin 2017, subsidiairement le 31 août 2017.
La somme réclamée résulte de l'addition des postes suivants: une réduction de loyer de 1'000 fr. par mois pour la période de décembre 2016 à juin 2017 (7'000 fr. au total); des dommages-intérêts à hauteur de 12'610 fr. correspondant aux frais estimés de vingt-six week-end à Flums (100 fr. d'essence plus 185 fr. pour l'usure de la voiture plus 200 fr. de forfait pour la maison et les repas, soit 485 fr. par week-end), et un montant de 2'000 fr. à titre de participation à leurs frais de déménagement. S'y ajoutent, à titre de solde de décompte de chauffage et de frais accessoires, les sommes de 1'551 fr. 75 pour la période du 1er janvier au 31 décembre 2016 et 775 fr.85 pour la période du 1er janvier 2017 au 30 juin 2017. Les époux X._ ont plus tard réduit leurs conclusions relatives aux frais accessoires à 1'084 fr.95 pour 2016 et à 34 fr. pour 2017; ces montants ressortent des décomptes de frais accessoires produits par la défenderesse lors de l'audience de jugement.
La bailleresse aelle-même adressé une demande au Tribunal des baux le 3 novembre 2017. Selon ses conclusions, les locataires devaient être condamnés à payer solidairement 14'000 fr. avec intérêts. Leurs oppositions aux commandements de payer devaient être définitivement levées et la garantie bancaire de 9'600 fr. devait être libérée en sa faveur. Elle s'est réservé le droit d'augmenter ses conclusions au motif que l'appartement laissé vacant par les locataires n'avait pas encore été reloué.
Le 22 février 2018, le Président du tribunal a informé la bailleresse que le délai fixé pour déposer une réponse dans la première cause était rapporté et qu'un nouveau délai lui serait imparti. La bailleresse devait indiquer si les locaux en cause étaient reloués, le cas échéant depuis quelle date.
Le 27 février 2018, la bailleresse a répondu que l'appartement était reloué depuis le 1er février 2018 et qu'il était resté inutilisé durant la période d'inoccupation. Elle a produit le contrat de bail du locataire entrant, dont il ressort que le loyer net et l'acompte de frais accessoires ont été respectivement réduits à 2'800 fr. et à 220 fr. par mois.
Par avis du 22 mars 2018, le président a informé les parties que sauf opposition motivée de leur part, dans un but de célérité et d'économie de procédure, les deux causes seraient jointes en vue d'une instruction et d'un jugement communs en procédure simplifiée. Le Président a notamment mentionné qu'en considération des renseignements fournis par la bailleresse, celle-ci n'augmenterait vraisemblablement pas sa prétention à un montant supérieur à 30'000 francs.
Les parties ont déclaré adhérer à cette proposition par courriers des 27 mars et 5 avril 2018.
Par décision du 24 mai 2018, le P résident a ordonné la jonction des causes en vue d'une instruction et d'un jugement communs en procédure simplifiée.
Par courrier du 27 juin 2018, la bailleresse a modifié ses conclusions en paiementen ce sens que les locataires doivent être condamnés à lui verser 28'000 fr. avec intérêts. Cette somme correspond à huit mois de loyer brut (3'500 fr. par mois de juin 2017 à janvier 2018). Les locataires se sont opposés à l'amplification des conclusions.
Le tribunal a tenu audience le 27 août 2018. La bailleresse a acquiescé aux conclusions des locataires à hauteur de 1'118 fr. 95, montant correspondant aux frais accessoires (1'084 fr. 95 pour 2016 et 34 fr. pour 2017). Le tribunal en a pris acte. Il a rejeté la requête des locataires tendant à une visite de l'appartement. Le tribunal a interrogé F.A._ en qualité de témoin.
B.b. Par jugement du 27 août 2018, le Tribunal des baux a prononcé que les locataires devaient payer solidairement 25'600 fr. avec intérêts au taux de 5% par an dès le 1er octobre 2017. En paiement partiel de cette somme, le tribunal a ordonné la libération intégrale de la garantie locative en faveur de la bailleresse. Il a définitivement et intégralement levé les oppositions des locataires aux commandements de payer notifiés le 10 août 2017. En droit, les juges ont considéré que le conflit de voisinage dont les locataires faisaient état n'était pas constitutif d'un défaut de la chose louée. Les locataires n'avaient dès lors pas droit à une réduction du loyer ni à des dommages-intérêts. En raison de l'absence de défaut, la résiliation immédiate fondée sur l'<ref-law> ne produisait pas d'effet. Il n'existait au demeurant aucun juste motif de résiliation du contrat selon l'<ref-law>. Les locataires n'avaient pas présenté de candidat à leur remplacement après qu'ils avaient résilié le contrat de manière anticipée; ils étaient par conséquent débiteurs du loyer, soit 3'200 fr. pour chacun des mois de juin 2017 à janvier 2018, à l'exclusion des fais accessoires, jusqu'au moment où l'appartement avait été reloué.
B.c. Les locataires ont appelé de ce jugement. Par arrêt du 16 août 2019, la Cour d'appel civile du Tribunal cantonal du canton de Vaud a rejeté l'appel, dans la mesure où il était recevable.
C.
Les locataires exercent le recours en matière civile. Selon leurs conclusions principales, l'action de la bailleresse doit être entièrement rejetée. Cette partie doit être condamnée à payer 23'937 fr.60 avec intérêts dès la date que le tribunal arrêtera. Des conclusions subsidiaires tendent à l'annulation de l'arrêt de la Cour d'appel et au renvoi de la cause, pour nouvelle décision, à cette autorité ou au Tribunal des baux.
Invitée à prendre position, la Cour d'appel déclare se référer aux considérants de son arrêt.
La bailleresse conclut au rejet ou à l'irrecevabilité du recours.

Considérant en droit :
1.
1.1. L'arrêt attaqué est une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par un tribunal supérieur désigné comme autorité cantonale de dernière instance, lequel a statué sur recours (<ref-law>). La cause atteint la valeur litigieuse minimale de 15'000 fr. ouvrant le recours en matière civile (<ref-law>). Le recours est exercé par les locataires qui ont succombé dans leurs conclusions tant libératoires que condamnatoires et qui ont donc qualité pour recourir (<ref-law>); il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Le recours est en principe recevable, sous réserve de l'examen des griefs particuliers.
1.2. Le recours est écrit en allemand alors que la procédure cantonale s'est accomplie en français. L'arrêt de la Cour d'appel est également rédigé en français. Conformément à l'<ref-law>, le présent arrêt est aussi rédigé en français (par ex. arrêt 5A_166/2018 du 14 mai 2018, consid. 1).
2.
2.1. Le recours en matière civile est recevable pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un motif autre que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4; <ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation de l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 2; <ref-ruling> consid. 1.3). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne redresse la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; ATF <ref-ruling> consid. 1.4 in fine).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). « Manifestement inexactes » signifie ici « arbitraires » (ATF <ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5). La correction du vice doit être susceptible d'influer sur le sort de la cause (<ref-law>). La critique des constatations de l'autorité précédente est soumise aux strictes exigences de motivation consacrées par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références).
La partie qui entend attaquer les constatations de fait de l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions sont réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2 p. 90). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait divergent de celui de la décision attaquée ne sont pas prises en considération (<ref-ruling> consid. 1.3.1 p. 18). Aucun fait nouveau ni preuve nouvelle ne peut être introduit si le moyen ne se justifie pas en raison des motifs de la décision attaquée (<ref-law>).
3.
Il est constant que les parties se sont liées par un contrat de bail à loyer de durée indéterminée auquel les locataires ont mis un terme. La date à laquelle leur résiliation prend effet est litigieuse.
Le plus récent loyer mensuel acquitté par les locataires étant celui de mai 2017, la bailleresse leur a réclamé les loyers de juin 2017 à janvier 2018, étant précisé qu'elle a reloué l'appartement en cause dès le 1er février 2018. La cour cantonale l'a reconnue créancière de la somme correspondant aux loyers nets afférents à cette période, soit 25'600 fr.
Les locataires considèrent ne plus rien devoir au titre du loyer. Ils s'estiment créanciers de la bailleresse à hauteur de 23'937 fr.60, somme correspondant à une réduction de loyer de 1'000 fr. par mois pour la période de décembre 2016 à juin 2017 (7'000 fr. au total), à des dommages-intérêts chiffrés à 12'610 fr. correspondant aux frais estimés de vingt-six week-end à Flums (100 fr. d'essence plus 185 fr. pour l'usure de la voiture plus 200 fr. de forfait pour la maison et les repas, soit 485 fr. par week-end), à 2'000 fr. pour participation à leurs frais de déménagement, à 1'551 fr.75 pour solde du décompte de chauffage et de frais accessoires pour la période du 1er janvier au 31 décembre 2016, et à 775 fr.85 pour solde du décompte de la période du 1er janvier au 30 juin 2017. La Cour d'appel a entièrement rejeté ces prétentions. Ainsi que son arrêt le constate, les locataires ont réduit en première instance leurs conclusions relatives aux frais accessoires à 1'084 fr.95 pour 2016 et 34 fr. pour 2017, ce qui correspond aux montants des décomptes de frais accessoires produits par la bailleresse lors de l'audience de jugement. Le Tribunal des baux a pris acte de l'acquiescement de cette partie à cet égard, en précisant que celui-ci avait les effets d'une décision entrée en force (<ref-law>) et qu'il suffisait de constater que les locataires sont créanciers de 1'118 fr. 95. Les prétentions encore litigieuses des locataires s'élèvent donc à 22'728 fr.95 seulement.
4.
4.1. La Cour d'appel constate en fait que les locataires ont adressé deux courriers à la bailleresse pour résilier le contrat de bail. Dans un premier courrier du 23 mai 2017, ils ont déclaré résilier le contrat pour le 31 août 2017; ils précisaient que moyennant l'accord de la bailleresse, ils quitteraient l'appartement le 30 juin 2017 déjà. Après que la gérance eut répondu que le bail pouvait être résilié au plus tôt pour le 1er avril 2018, les locataires ont déclaré par un deuxième courrier du 28 mai 2017 qu'ils résiliaient le bail avec effet immédiat en raison d'un défaut excluant ou entravant considérablement l'usage de la chose louée (<ref-law>), ou subsidiairement en raison de justes motifs rendant la continuation du bail intolérable pour eux (<ref-law>).
La Cour d'appel juge que la résiliation anticipée n'est fondée ni au regard de l'<ref-law> ni au regard de l'<ref-law>.
Certes, la Cour constate l'existence d'un conflit entre F.X._ et sa voisine du dessous. Elle constate cependant aussi que ce conflit était envenimé par le comportement de F.X._ elle-même. En sus d'avoir appelé la police alors que F.A._ utilisait à bon droit sa machine à laver personnelle dans la buanderie, elle a refusé de participer à une assemblée de copropriétaires organisée dans le but d'apaiser les tensions entre voisins, en opposant qu'elle ne ressentait pas le besoin de résoudre gratuitement et sur son temps libre les problèmes personnels de sa voisine. Par ailleurs, l'entente entre les autres résidents de l'immeuble était cordiale et plusieurs d'entre eux s'étaient plaints du comportement de F.X._. Le genre des conflits survenus après l'arrivée des époux X._ était auparavant inexistant. Lorsque F.X._ a requis l'intervention de la police, elle n'a pas souhaité déposer plainte contre F.A._, ce qui paraît dénoter, selon la Cour, l'absence de mise en danger ou d'atteinte aux intérêts de F.X._ et de son époux. L'utilisation de sa machine à laver personnelle par F.A._ n'empêchait pas les autres résidents d'accéder à la buanderie. Le logement pris à bail n'était donc pas défectueux, contrairement à l'argumentation des locataires.
Les juges d'appel excluent également tout juste motif selon l'<ref-law>. Ils jugent que ce logement n'était pas trop exigu pour servir de logement à la famille, nonobstant l'arrivée d'un nouvel enfant et de la grande taille de leur fils aîné. Le contrat mentionnait une surface approximative. Une surface par hypothèse inf érieure à celle mentionnée n'était de toute manière pas de nature à constituer un juste motif de résiliation car les locataires ne s'en étaient jamais plaints. Les locataires avaient choisi l'appartement en cause alors que leur fils aîné n'avait pas terminé sa croissance et ils connaissaient la surface des chambres pour les avoir visitées. Ils n'étaient pas autorisés à invoquer des circonstances qu'ils connaissaient déjà lors de la conclusion du contrat pour en justifier la résiliation. L'appartement comprenait enfin une chambre apte à accueillir le second enfant du couple.
4.2. Les locataires fondent leurs conclusions sur des faits qui ne sont pas constatés. En particulier, F.A._ a prétendument guetté F.X._ durant des mois dans les couloirs du bâtiment, et elle lui a adressé des remarques acerbes et des accusations injustes. Selon l'argumentation présentée, les juges d'appel auraient dû retenir que F.X._ était victime de harcèlement. Ces allégations sont répétées à l'appui de plusieurs des griefs développés par les locataires.
4.2.1. Ceux-ci se plaignent notamment de formalisme excessif et de déni de justice; ils reprochent à la Cour d'appel d'avoir appliqué au regard de l'<ref-law> des exigences excessives à la motivation de leur l'appel.
Cette critique n'est pas fondée. A bon droit, la Cour juge irrecevables les allégations de fait qui reproduisent simplement celles de la demande en justice car il incombe à la partie appelante d'exposer en se référant au jugement attaqué pourquoi ce prononcé doit être réformé ou annulé (<ref-ruling> consid. 4.3.1 p. 375). La cour cantonale a encore relevé que certains faits étaient mentionnés dans le jugement et que d'autres n'étaient pas établis. On discerne donc parfaitement les motifs qui ont guidé les juges, de sorte que le droit à une décision motivée est respecté (arrêt 4A_474/2008 du 13 février 2009, consid. 2.1; <ref-ruling> consid. 2c p. 103).
4.2.2. Les recourants estiment à tort que la Cour a constaté arbitrairement les faits pertinents. Ils s'en réfèrent à leur appel et à leur demande en justice, ce qui ne saurait tenir lieu de démonstration. Rien ne révèle avec certitude que contrairement à son témoignage, F.A._ n'ait pas éprouvé le sentiment d'être agressée. Rien, non plus, ne permet de retenir que cette voisine ait guetté F.X._ durant des mois dans les couloirs et qu'elle lui ait adressé des remarques dont il n'est pas précisé dans le recours si et dans quelle mesure elles divergent de celles mentionnées par les juges d'appel. Savoir si F.A._ a accusé F.X._ d'avoir voulu donner un coup de pied à sa fille n'est pas davantage établi mais ce point n'est pas décisif. Les juges ont seulement constaté que F.X._ a enjoint, en criant, à la fille des époux A._ de sortir le chien, faute de quoi elle « donnerait un coup de pied »; cela pouvait être compris par l'enfant comme une menace de lui asséner un coup de pied à elle. Néanmoins, il s'impose de relever qu'une réaction de F.X._ à l'attaque du chien était compréhensible et que F.A._ aurait dû présenter des excuses. A cet égard, la responsabilité du conflit incombe aux deux voisines; cette circonstance ne suffit cependant pas à justifier une résiliation anticipée du contrat. Au sujet de l'attitude contradictoire que F.A._ a prétendument adoptée par rapport au chat de la famille X._, on ne voit guère à quel passage de l'arrêt ils se réfèrent, ni en quoi cet élément peut être déterminant. Ils font grief aux juges d'appel de n'avoir pas retenu que le comportement de F.A._ nuisait ou était de nature à nuire à la santé de F.X._. On ne décèle cependant aucun arbitraire à cet égard dans le jugement cantonal. La même appréciation vaut pour l'accès à la buanderie de l'immeuble ainsi qu'à l'appartement loué; à l'évidence, cet accès n'était ni impossible ni plus compliqué. Les autres éléments évoqués par les locataires ne sont pas déterminants pour l'issue du litige. Ainsi en est-il notamment de la date de fin de l'année scolaire de leur fils aîné.
4.2.3. Les locataires reprochent à la Cour d'appel d'avoir omis de discuter leurs arguments relatifs aux violations de la maxime inquisitoire sociale (<ref-law>) et des règles sur la preuve (<ref-law>; <ref-law>). Ils se plaignent ainsi de violation de leur droit d'être entendus (art. 29 al. 2 Cst.) et de déni de justice formel (art. 29 al. 1 Cst.). Ce grief n'est pas fondé car la lecture de l'arrêt permet de constater que les juges ont abondamment discuté ces arguments.
4.2.4. Les locataires estiment que la Cour d'appel a violé les art. 317 et 152 CPC et commis un déni de justice formel (art. 29 al. 1 Cst.) en jugeant irrecevable un document qu'ils entendaient produire, à savoir une brochure du Bureau fédéral de l'égalité entre femmes et hommes intitulée Stalking: harcèlement obsessionnel. Ce document était censé démontrer que le comportement de F.A._ mettait en danger la santé de F.X._ et qu'il était apte à entraîner de graves dommages psychiques. La Cour a expliqué pourquoi cette pièce se révélait irrecevable. S'il s'agissait d'un titre selon l'<ref-law>, il était produit tardivement (<ref-law>). Les locataires ne discutent pas cette appréciation. Ils ne prétendent pas que le document ait été produit en temps utile. A la lecture du recours, on ne comprend pas non plus en quoi l'<ref-law> est éventuellement méconnu car cette disposition se rapporte pareillement aux moyens de preuve proposés régulièrement et en temps utile. Ces griefs sont donc dépourvus de fondement.
4.3. Les locataires se plaignent d'une application à leur avis incorrecte de l'<ref-law>. Cette critique revient à prétendre que la Cour d'appel aurait dû juger que le comportement de F.A._ était un défaut grave de la chose louée. Elle repose sur des faits qui n'ont pas été constatés et qu'il ne s'imposait pas de constater. Elle n'a pas de portée indépendante et peut donc être écartée sans autre discussion.
4.4. Les locataires estiment que la Cour a violé les art. 150 et 152 CPC et les art. 9 et 29 al. 2 Cst. en tant que ces dispositions confèrent ou garantissent le droit à la preuve. Ils expliquent avoir requis une inspection de l'appartement (art. 168 al. 1 let. c CPC) afin que la Cour puisse constater que l'exiguïté de ce logement exclut qu'il serve d'habitation à une famille de quatre personnes dont un fils aîné très grand. Ils se plaignent d'arbitraire dans l'appréciation anticipée de cette preuve.
L'autorité peut renoncer à des mesures d'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que celles-ci ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 298 s. et les arrêts cités). Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. n'interdit pas au juge d'effectuer une appréciation anticipées des preuves déjà disponibles et, s'il peut admettre de façon exempte d'arbitraire qu'une preuve supplémentaire offerte par une partie serait impropre à ébranler sa conviction, refuser d'administrer cette preuve (<ref-ruling> consid. 3.3 p. 64; <ref-ruling> consid. 5.3 p. 236/237; <ref-ruling> consid. 3 p. 157).
En l'espèce, l'appréciation anticipée des preuves est exempte d'arbitraire. A supposer que la surface de l'appartement ne soit effectivement pas supérieure à 80 m2, cette circonstance ne serait pas un juste motif de résilier le bail de manière anticipée. Ce grief doit être pareillement rejeté.
4.5. Les locataires se plaignent de violation de l'<ref-law>. Ils relèvent à juste titre que cette disposition est inspirée de la théorie de l'imprévision. Ils soulignent que selon la Cour d'appel, ce cas de résiliation anticipée est opportunément invoqué dans le but d'échapper à l'obligation de verser le loyer jusqu'à la plus prochaine échéance du contrat. Contrairement à leur argumentation, la Cour n'a pas omis d'examiner si la grande taille de leur fils aîné et l'arrivée d'un nouvel enfant étaient des justes motifs de résiliation anticipée. La Cour a conclu cet examen par la négative et son appréciation résiste à la critique.
4.6. Les locataires n'étaient donc pas fondés à résilier le contrat de manière anticipée. Celui-ci a duré jusqu'au 1er février 2018, date à laquelle les locaux ont été reloués. Contrairement à leur opinion, précisément parce que le contrat n'avait pas pris fin et que le loyer demeurait dû, il importe peu que la bailleresse n'ait pas réclamé une indemnité plutôt que le loyer pour la période séparant la résiliation immédiate injustifiée de la fin effective du contrat.
Les locataires soutiennent que la bailleresse a attendu trop longtemps avant de proposer l'appartement sur le marché locatif à un prix moins élevé que celui payé par eux. Ils se plaignent par là d'une application incorrecte de l'<ref-law>.
Le bailleur n'est en principe pas tenu d'entreprendre lui-même des démarches afin de trouver un locataire de remplacement (arrêt 4C.248/1996 du 2 octobre 1997, consid. 6c). On déduit des règles consacrées par l'<ref-law> qu'il est tenu de prêter son concours au locataire sortant dans la recherche d'un nouveau locataire, ou, en cas de défaillance du locataire sortant, d'accomplir lui-même des efforts en vue de trouver un locataire de remplacement (même arrêt). Cela ne conduit cependant pas à l'inversion des rôles. La restitution anticipée de la chose louée porte atteinte au principe pacta sunt servanda. Au premier chef, il incombe à celui qui entend se libérer prématurément de ses obligations contractuelles de faire en sorte que son cocontractant n'en subisse aucun dommage. Il s'agit respectivement du locataire et du bailleur. Dans le libellé de l'<ref-law>, l'adverbe « intentionnellement » est utilisé à dessein; il indique clairement que le locataire n'est libéré de son obligation que par des omissions ou des actes d'obstruction caractérisés du bailleur (<ref-ruling> consid. 3a p. 158), c'est-à-dire par un comportement incompatible avec les règles de la bonne foi. Le juge exerce pour le surplus un large pouvoir d'appréciation dans l'examen de l'attitude adoptée par chacune des parties à la suite de la résiliation anticipée du contrat (<ref-law>; <ref-ruling> consid. 3a p. 159).
En l'espèce, les locataires ont résilié le contrat par courrier du 23 mai 2017. Ils ont alors fait savoir à la gérance qu'à défaut d'accord de sa part pour un départ anticipé au 30 juin 2017, ils proposeraient un locataire de remplacement. Le 28 mai suivant, ils lui ont notifié une résiliation anticipée fondée sur les <ref-law> ou 266g CO, résiliation anticipée que la gérance n'a pas acceptée. Par courrier du 30 mai 2017, celle-ci leur a fait savoir qu'il leur appartenait de trouver un successeur et elle les a assurés de son soutien dans leurs démarches. Suite à l'annonce publiée par les locataires, une personne s'est déclarée intéressée par l'appartement. F.X._ s'est toutefois montrée désagréable avec elle, au point de la dissuader de poursuivre son examen de l'affaire. Les locataires se plaignent vainement d'arbitraire à cet égard car le courriel de F.X._ du 8 juin 2017 était incontestablement déplaisant et rebutant. La gérance a fait paraître des annonces sur plusieurs sites internet; elle a proposé d'abord l'appartement au prix de 3'200 fr. par mois, puis de 3'000 fr. dès le 4 octobre 2017, et enfin de 2'800 fr. dès le 10 novembre 2017. Elle a en outre fait paraître une annonce dans le journal 24heures immobilier du 8 novembre 2017; elle y proposait l'appartement pour un loyer mensuel net de 3'000 fr., augmenté de 300 fr. de charges. Dans ces conditions, les locataires reprochent mal à propos à la gérance d'avoir tardé à proposer l'appartement sur le marché de la location. La gérance n'est pas demeurée inactive; elle a même pris l'initiative de proposer l'appartement à un prix inférieur au loyer payé par les locataires alors que ce sont eux qui prétendaient mettre fin prématurément au contrat. Contrairement à leurs affirmations, la Cour d'appel n'a pas constaté que l'appartement loué ne pouvait que difficilement être reloué, et seulement à un prix bien inférieur. La Cour mentionne seulement que selon les premiers juges, la bailleresse s'était rendue compte qu'elle ne trouverait que difficilement un nouveau locataire. Cela n'a aucune incidence dans l'application de l'<ref-law>. Les locataires ne se sont pas libérés de leurs obligations conformément à cette disposition; ils sont au contraire débiteurs de l'intégralité du loyer net jusqu'à la date à laquelle l'appartement a été reloué.
5.
5.1. Selon les conclusions initiales de la bailleresse, les locataires devaient être condamnés à payer 14'000 fr. au titre des loyers arriérés. Elle a ensuite amplifié ses conclusions à 28'000 fr. correspondants aux loyers et acomptes de frais accessoires pour les mois de juin 2017 à janvier 2018. Les locataires tiennent l'amplification pour inadmissible au regard des art. 52, 227, 229, 230 et 246 CPC parce que la date de la remise en location de l'appartement était connue lors de l'avis du Président du Tribunal des baux du 22 mars 2018, cet avis concernant la prochaine jonction des causes, et que l'amplification n'est donc justifiée par aucun fait nouveau. Les locataires soutiennent également que la bailleresse avait renoncé à l'amplification de ses conclusions et qu'elle a adopté un comportement contradictoire contraire à la bonne foi.
5.2. La Cour d'appel constate que contrairement aux affirmations des locataires, le Président n'a pas pris acte d'une renonciation de la bailleresse à amplifier ses conclusions et qu'il a seulement exposé qu'au vu des renseignements fournis par la bailleresse dans son courrier du 27 février 2018, il apparaissait que cette partie n'entendait pas amplifier ses conclusions à un montant supérieur à 30'000 francs. Cette prévision s'est d'ailleurs révélée exacte. La Cour a en conséquence jugé que la bailleresse n'a pas tardé de mauvaise foi à amplifier ses conclusions dans le but que la cause soit instruite en procédure simplifiée en dépit de la limite fixée par l'<ref-law>. La Cour a aussi jugé que la bailleresse n'encourt pas le reproche d'avoir tardé à amplifier ses conclusions après que l'appartement eut été remis en location parce que la loi n'imposait pas une modification immédiate de la demande. En raison de la maxime inquisitoire simple, la bailleresse pouvait modifier sa demande jusqu'aux délibérations, de sorte que l'amplification des conclusions annoncée dans le courrier du 27 juin 2019 était recevable.
5.3. Une modification de la demande au sens des art. 227 et 230 CPC intervient lorsqu'une prétention juridique qui a été valablement invoquée jusque-là est modifiée ou lorsqu'une nouvelle prétention est soulevée. La modification des conclusions doit satisfaire aux exigences alternatives de l'<ref-law> et être la conséquence de faits ou de moyens de preuves nouveaux (DENIS TAPPY, Code de procédure civile commenté, 2011, n° 3 ad <ref-law>). Même si le principe de la bonne foi exige que la partie qui a connaissance de faits et moyens de preuve nouveaux de nature à modifier ses prétentions modifie ses conclusions rapidement après avoir eu connaissance desdits éléments nouveaux, la loi n'impose pas une modification immédiate de la demande, à la différence de ce que prévoit l'<ref-law> en matière de nova (arrêts 5A_245/2017 du 4 décembre 2017, consid. 2.4; 5A_16/2016 du 26 mai 2016, consid. 5.1; FRANCESCO TREZZINI, Commentario al Codice di diritto processuale civile svizzero, 2010, let. B. ad <ref-law>, p. 1033). Il en résulte clairement que la défenderesse n'était pas tenue d'augmenter ses conclusions en février 2018 ou encore en avril 2018, lorsqu'elle a déclaré adhérer à la proposition du Président de joindre les causes; elle pouvait légitimement attendre le 27 juin 2018 pour ce faire, étant précisé que cette date était largement antérieure tant aux débats principaux qu'aux délibérations. Il n'y a là nulle trace d'une violation des dispositions légales invoquées par les locataires.
Le montant des loyers dont la Cour d'appel a reconnu les locataires débiteurs envers la bailleresse s'inscrit donc dans le cadre des conclusions régulièrement présentées.
6.
Les locataires soutiennent que les locaux loués étaient affectés d'un défaut qui justifiait une baisse de loyer de décembre 2016 à juin 2017. Ils se plaignent d'une violation de l'<ref-law>. Parce que la chose louée n'était pas affectée d'un défaut, ce grief est privé de fondement.
7.
Les locataires ont réclamé des dommages-intérêts sur la base de l'<ref-law>. La Cour d'appel a rejeté cette prétention au motif que la chose louée n'était pas affectée d'un défaut. Ils se plaignent de violation de cette disposition mais leur critique se confond avec celle dirigée contre la constatation des faits, déjà examinée et rejetée. Elle sera donc elle aussi rejetée.
8.
L'arrêt attaqué est pour le surplus incontesté, de sorte que le recours en matière civile doit être rejeté, dans la mesure où il est recevable. Les locataires doivent assumer solidairement et à parts égales les frais de la présente procédure (<ref-law>). Il n'est pas alloué de dépens à l'intimée qui n'est pas assistée d'un avocat.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les recourants acquitteront un émolument judiciaire de 2'500 fr., à parts égales et solidairement entre eux.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud.
Lausanne, le 1er juillet 2020
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La présidente : Kiss
Le greffier : Thélin