Faits :
A.
A.a. L._ occupe depuis 1974 une arcade de 23 mètres carrés au rez-de-chaussée d'un immeuble situé en ville de Genève. Dans le contrat de bail que cette locataire a signé le 28 août 1985, les bailleurs sont désignés comme les "consorts X._", représentés par "MM. R._ SA". Depuis 1991, le bail est renouvelable tacitement d'année en année, sauf préavis de résiliation signifié six mois à l'avance pour l'échéance du 31 janvier. Le loyer a été fixé en dernier lieu à 5'160 fr. par an, charges comprises.
De façon récurrente depuis 2005 en tout cas, la locataire a accusé du retard dans le paiement de son loyer. Entre 2005 et 2011, une vingtaine de rappels ou de mises en demeure lui ont été adressés.
A.b. Par avis officiel du 7 décembre 2011, le bail a été résilié pour défaut de paiement.
La locataire a contesté le congé extraordinaire dans le délai légal de 30 jours.
Par courrier du 13 février 2012, la régie chargée de gérer l'immeuble, soit R._ SA, a informé la locataire que son loyer était désormais à jour au 31 mai 2012 mais que son bail demeurait résilié. Elle a déclaré suspendre "la procédure d'évacuation" moyennant paiement régulier des indemnités pour occupation illicite.
A l'audience de conciliation qui s'est tenue le 5 juillet 2012, la cause a été déclarée non conciliée et une autorisation de procéder a été remise à la locataire.
Le même jour, celle-ci a interpellé la régie par courrier électronique en l'invitant à revoir sa position.
La régie a répondu à la locataire en ces termes par courrier du 30 août 2012:
"Nous avons pris en considération votre requête et nous vous informons que nous avons décidé par gain de paix de remettre en vigueur votre bail et ses avenants, préexistants avant la résiliation pour l'échéance du 31 janvier 2012.
Il va sans dire que nous comptons ne plus avoir à vous adresser une quelconque lettre de rappel et que vous respecterez dorénavant les conditions générales applicables à votre bail qui prévoient le paiement du loyer par mois d'avance. Pour notre part, nous tolérons ce paiement au 10 du mois en cours dernier délai.
Vos versements seront désormais comptabilisés à titre de loyers et charges. Votre compte est actuellement à jour au 31.12.2012.
Cette lettre valant avenant à votre bail, nous vous la faisons parvenir par lettre recommandée et par pli simple."
La locataire n'a pas porté l'action devant le juge du fond.
A.c. Par avis du 29 novembre 2013, les "consorts X._", représentés par la régie immobilière précitée, ont résilié le bail de la locataire pour le 31 janvier 2015, sans indiquer de motif. En annexe figurait la liste des nouveaux propriétaires, soit B1._, B2._, B3._, B4._, B5._, B6._, B7._ et B8._, le nom de X._ étant mentionné en tant qu'usufruitier.
B.
B.a. Le 29 décembre 2013, la locataire a déposé une requête en contestation du congé devant la commission de conciliation, au moyen du formulaire préimprimé fourni par cette autorité. Sous rubrique "cité", la locataire a indiqué "R._ SA".
B8._ et un représentant de la régie immobilière ont comparu à l'audience de conciliation du 3 mars 2014. La locataire a obtenu une autorisation de procéder désignant comme défendeurs les "Consorts X._ c/o R._ SA".
La locataire a alors déposé une demande le 2 avril 2014 devant le Tribunal des baux et loyers du canton de Genève. Elle concluait à l'annulation du congé "notifié par la régie R._ SA, représentant les consorts X._".
Dans leur réponse, les "consorts X._, subsidiairement B1._, B2._ et B3._, B4._, B5._, B6._, B7._ et B8._" ont conclu à l'irrecevabilité de la demande, respectivement à son rejet sur le fond. De leur point de vue, la demande était irrecevable à double titre: d'une part, parce qu'elle désignait à tort la régie immobilière qui n'avait pas la qualité pour défendre; d'autre part, parce qu'elle omettait de mentionner séparément les copropriétaires de l'immeuble. Le congé était dû au fait que la locataire ne respectait pas l'affectation prévue par le bail et que les bailleurs souhaitaient un commerce ouvert au public avec une vitrine plutôt qu'un bureau.
B.b. Par jugement du 14 novembre 2014, le Tribunal des baux a rejeté l'incident d'irrecevabilité et "modifi[é] les qualités de la partie bailleresse, en ce sens que B1._, B2._ et B3._, B4._, B5._, B6._, B7._ et B8._ sont défendeurs à la présente procédure". Sur le fond, le Tribunal a déclaré le congé valable et octroyé à la locataire une unique prolongation de deux ans, soit jusqu'au 31 janvier 2017.
B.c. La locataire a déféré cette décision à la Cour de justice du canton de Genève (Chambre des baux et loyers), suite à quoi les bailleurs ont déposé un appel joint. Par arrêt du 23 novembre 2015, cette autorité a "modifi[é] la qualité de la partie intimée, en ce sens que X._ est également intimé".
Quant au fond, la Cour a annulé le congé notifié pour le 31 janvier 2015. Elle a jugé que le congé avait été donné pendant la période de protection conférée par l'art. 271a al. 1 let. e CO, de sorte qu'il était annulable pour ce motif déjà. Par surabondance, il était aussi annulable en vertu de la clause générale de l'<ref-law>. Les bailleurs justifiaient le congé par le souhait d'avoir un commerce ouvert sur l'extérieur plutôt qu'une arcade vide avec une vitrine borgne. Ils admettaient cependant n'avoir jamais adressé de reproches en ce sens à la locataire avant la notification du congé. Pour le surplus, le dossier ne montrait pas qu'il y aurait eu de nouveaux retards dans le paiement du loyer depuis la remise en vigueur du bail en 2012. Dans ces circonstances, le congé était contraire aux règles de la bonne foi.
C.
B1._, B2._, B3._, B4._, B5._, B6._, B7._ et B8._ ont interjeté un recours en matière civile. A titre principal, ils invitent le Tribunal fédéral à constater l'invalidité de l'autorisation de procéder délivrée le 3 mars 2014 et à déclarer irrecevable l'action intentée par la locataire. Subsidiairement, ils requièrent le rejet de l'action après constatation de ce qu'ils n'ont pas la légitimation passive et qu'il n'y a pas de litispendance à leur égard. Plus subsidiairement, les recourants demandent que toute prolongation de bail soit refusée, ou plus subsidiairement encore, qu'une prolongation unique soit octroyée jusqu'au 31 janvier 2017.
Les recourants précisent que X._ est décédé le 29 novembre 2015 en laissant pour unique héritière B7._, d'ores et déjà partie à la procédure.
La chancellerie de la cour de céans a imparti à la locataire un délai de réponse au 15 février 2016. Celle-ci a déposé une écriture le 7 mars 2016. Les recourants ont demandé d'écarter cet acte tardif de la procédure.
L'autorité précédente s'est référée à son arrêt.

Considérant en droit:
1.
1.1. Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes au délai (<ref-law> en lien avec l'art. 46 al. 1 let. c LTF) et à la valeur litigieuse minimale de 15'000 fr. (<ref-law>; <ref-ruling> consid. 1.1).
1.2. La locataire intimée a déposé une réponse hors délai, et ce retard lui paraît imputable. Point n'est besoin de discuter cette question plus avant, car l'intimée a agi sans avocat et s'est contentée de se référer à l'arrêt attaqué. Le résultat est donc le même que l'on maintienne ou non l'écriture au dossier (cf. consid. 4 infra).
2.
2.1. Les recourants dénoncent tout d'abord une violation des art. 83 et 221 CPC. Sous couvert de rectifier une désignation inexacte des parties, les juges genevois auraient en réalité procédé à une substitution illicite des parties. Les recourants font observer que la requête de conciliation est nommément dirigée contre "R._ SA", désigné comme "le bailleur". La rubrique "mandataire" a été laissée vide. En décrivant l'objet du litige, la locataire a précisé qu'une collaboratrice de la régie semblait faire une fixation contre elle. L'on ne pourrait rien déduire de la comparution d'un des bailleurs à l'audience de conciliation, puisque la convocation était adressée aux consorts X._. En bref, la demande serait mal dirigée puisqu'elle viserait clairement la régie immobilière, soit une personne morale existante, qui n'est cependant pas partie au rapport de bail. Dans ces circonstances, un changement de parties n'était possible qu'avec le consentement de la locataire (<ref-law>), qui ne l'a pas donné en l'occurrence.
2.2. La requête de conciliation et la demande doivent désigner précisément la partie adverse (cf. art. 202 al. 2, art. 221 al. 1 let. a et, pour la demande simplifiée, <ref-law>). Si la personne désignée comme défendeur n'est pas le sujet passif du droit invoqué par le demandeur et n'a donc pas la qualité pour défendre (i.e. la légitimation passive), l'action devra être rejetée (cf. par ex. <ref-ruling> consid. 2b/bb p. 55; <ref-ruling> consid. 3a). Le demandeur pourra intenter une nouvelle action contre celui qui dispose effectivement de la qualité pour défendre, sous réserve des cas de prescription ou de péremption (arrêt 4A_560/2015 du 20 mai 2016 consid. 4.1.4).
Cela étant, le juge peut rectifier d'office ou sur requête une désignation de partie qui est entachée d'une inexactitude purement formelle, d'une simple erreur rédactionnelle (LAURENT KILLIAS, in Berner Kommentar, 2012, n° 7 ad <ref-law>). L'erreur commise doit être aisément décelable et rectifiable tant pour la partie adverse que pour le juge; il ne doit donc exister aucun risque de confusion quant à l'identité de la personne visée, identité qui peut notamment résulter de l'objet du litige. Si un tel risque peut être exclu, peu importe alors que la désignation inexacte se rapporte à une tierce personne existante (arrêt 4A_560/2015 précité consid. 4.2; <ref-ruling> consid. 2.2 p. 63). Pour le surplus, un changement des parties au procès ("substitution de partie") ne peut avoir lieu qu'avec le consentement de la partie adverse (art. 83 al. 4 1 re phrase CPC), sous réserve du cas de l'aliénation de l'objet du litige (<ref-law>) et des dispositions spéciales prévoyant une succession légale (art. 83 al. 4 2 e phrase CPC) (arrêt précité 4A_560/2015 consid. 4.2 i.f.).
2.3. En l'occurrence, le bail remontant à 1985 indique comme bailleurs les "consorts X._" représentés par "MM. R._ SA". L'avis de résiliation établi le 29 novembre 2013 sur formule officielle indique que les bailleurs "consorts X._" sont représentés par R._ SA, soit la régie chargée de gérer l'immeuble. Concernant les bailleurs, l'avis officiel renvoie à une annexe fournissant la liste détaillée des nouveaux propriétaires de l'immeuble.
La locataire a déposé devant la commission de conciliation une requête en contestation du congé établie sur le formulaire préimprimé de cette autorité. Sous la rubrique "cité", elle a indiqué "R._ SA".
Après avoir obtenu une autorisation de procéder désignant comme partie défenderesse les "Consorts X._ c/o R._ SA", la locataire a requis par demande du 2 avril 2014 l'annulation du congé "notifié par la régie R._ SA, représentant les consorts X._".
Les juges genevois n'ont pas enfreint le droit fédéral en considérant être en présence d'une désignation inexacte de partie susceptible d'être rectifiée. L'objet du litige était clair, soit la contestation de la résiliation de bail signifiée à la locataire le 29 novembre 2013; les personnes visées par une telle action étaient manifestement les bailleurs. Aucun risque de confusion n'était possible, même si la locataire, par mégarde, a désigné dans sa requête une personne morale existante, soit la régie immobilière représentant les bailleurs, avec qui la locataire traitait de longue date puisque le bail de 1985 était déjà signé par cette même régie.
Les bailleurs, qui se sont présentés sous une expression vague (les "consorts X._"), ne sauraient de bonne foi nier l'existence d'une erreur manifeste de la locataire, qui a procédé sans l'assistance d'un mandataire professionnel - ce que tend à favoriser la procédure simplifiée applicable en l'espèce (art. 243 al. 2 let. c CPC); les décisions cantonales n'indiquent pas non plus qu'elle aurait des connaissances juridiques particulières. Même en tenant compte des précisions de fait apportées par les recourants (consid. 2.1 supra), qui ne ressortent pas des constatations retenues par les juges genevois, le résultat est le même, vu l'exclusion de tout risque de confusion.
La qualité de bailleurs des huit recourants n'est pas contestée. Pour le surplus, il convient de prendre acte du décès de X._.
3.
3.1. Conformément à la jurisprudence (<ref-ruling> consid. 4.1.4), les bailleurs critiquent les deux motivations alternatives justifiant, selon la Cour de justice, l'annulation du congé. Dénonçant tout d'abord une violation de l'art. 271a al. 1 let. e CO, ils plaident que la locataire ne bénéficiait pas de la période de protection contre les congés car elle avait finalement reconnu le bien-fondé de la précédente résiliation du 7 décembre 2011, après l'avoir contestée. Cette reconnaissance résulterait du fait même que la locataire avait renoncé à porter l'action devant le tribunal après avoir obtenu une autorisation de procéder. Peu importe que les bailleurs aient ensuite remis en vigueur le bail par gain de paix; leur lettre du 30 août 2012 constituait un ultime avertissement. La locataire aurait au demeurant reconnu dans son courriel du 5 juillet 2012 que les bailleurs avaient le droit d'obtenir son évacuation.
3.2. Selon l'art. 271a al. 1 let. e CO, le congé est annulable lorsqu'il est donné par le bailleur dans les trois ans à compter de la fin d'une procédure de conciliation ou d'une procédure judiciaire au sujet du bail, et si le bailleur a, respectivement, succombé dans une large mesure (ch. 1), abandonné ou considérablement réduit ses prétentions ou conclusions (ch. 2), renoncé à saisir le juge (ch. 3), conclu une transaction, ou s'est entendu de toute autre manière avec le locataire (ch. 4).
Le locataire bénéficie en principe de la protection triennale sans égard aux concessions plus ou moins importantes que le bailleur a faites dans la transaction (<ref-ruling> consid. 2.1; cf. Message du 27 mars 1985 concernant l'initiative populaire "pour la protection des locataires" [...], FF 1985 I 1441 ad ch. 421.21). Certains auteurs précisent que le délai de protection ne s'applique pas lorsque le locataire a entièrement reconnu les prétentions du bailleur et que la transaction porte sur des points accessoires comme les dépens (PHILIPPE CONOD, in Droit du bail à loyer, Commentaire pratique, 2010, n° 45 ad <ref-law>) ou même les intérêts moratoires (PETER HIGI, Zürcher Kommentar, 4e éd. 1996, n° 295 ad <ref-law>).
Il convient de réserver le cas où le locataire adopte lui-même un comportement abusif excluant l'application de l'art. 271a al. 1 let. e CO. La doctrine cite l'exemple, inspiré de la pratique, où le bailleur accepte de donner une dernière chance au locataire et de retirer, moyennant des promesses, un congé manifestement fondé que le locataire a contesté à tort. Si le bailleur notifie ultérieurement un nouveau congé parce que le locataire n'a pas tenu ses engagements, celui-ci ne peut pas exciper du délai de protection (DAVID LACHAT, Le bail à loyer, 2008, p. 753 n. 5.6.7, qui se réfère à une décision d'autorité de conciliation publiée in MRA 1997 p. 6; cf. aussi ROGER WEBER, in Basler Kommentar, 6e éd. 2015, n° 27 ad art. 271/271a CO). Selon un auteur, la transaction doit faire comprendre de façon suffisamment précise et explicite que la résiliation notifiée par le bailleur était pleinement valable sur le fond, mais qu'elle a été retirée par gain de paix, l'accord valant avertissement (CONOD, op. cit., n° 49 ad <ref-law>).
3.3. En l'occurrence, il n'est pas contesté que le congé a été donné dans les trois ans à compter de la fin d'une procédure portant sur le bail. Se pose la question de savoir si la locataire, lors de la précédente procédure, avait entièrement reconnu les prétentions du bailleur, respectivement si elle commet un abus de droit en se prévalant de la protection conférée par l'art. 271a al. 1 let. e CO. Contrairement à ce que soutiennent les recourants, c'est au bailleur d'établir un éventuel comportement abusif du locataire, tout comme il doit prouver l'existence d'un motif de résiliation (<ref-law>) permettant de renverser la présomption selon laquelle le congé donné pendant le délai de protection est abusif (arrêt 4A_332/2011 du 21 novembre 2011 consid. 3.1).
3.4. La locataire a renoncé à saisir le Tribunal des baux après avoir initié devant l'autorité de conciliation une procédure en contestation du congé donné le 7 décembre 2011, et après avoir obtenu le 5 juillet 2012 une autorisation de procéder. Le délai de 30 jours pour déposer une demande devant le tribunal a commencé à courir le lendemain puis a été suspendu pendant les féries; il a ainsi expiré le mercredi 5 septembre 2012 (<ref-law> en lien avec l'<ref-law> et <ref-ruling> consid. 2.4). Il apparaît toutefois que les bailleurs ont répondu à la locataire par courrier du 30 août 2012 qu'ils acceptaient de "remettre en vigueur" le bail. Tout porte à croire que ce courrier a été reçu avant l'expiration du délai de trente jours. A tout le moins faut-il admettre que dans un tel contexte, le fait que la locataire ait renoncé à poursuivre la procédure ne peut pas s'interpréter comme une reconnaissance totale des prétentions du bailleur.
La Cour de justice a constaté que l'accord du 30 août 2012 ne précisait pas que la locataire admettait la validité du congé, et les pièces au dossier ne permettaient pas de s'assurer que ce congé était effectivement bien fondé. On ignorait notamment quel (s) motif (s) la locataire avait fait valoir à l'appui de sa contestation de congé, déclarée non conciliée le 5 juillet 2012. La Cour a conclu que la locataire pouvait se prévaloir du délai de protection.
Sur la base des constatations de l'arrêt attaqué, force est d'admettre, avec la Cour de justice, que les faits ne sont pas suffisamment caractérisés pour retenir un abus manifeste du droit de la locataire à se prévaloir de la protection contre les congés conférée par l'art. 271a al. 1 let. e CO. Il est certes question de mises en demeure récurrentes pour défaut de paiement depuis 2005, mais l'on ignore si le congé du 7 décembre 2011 respectait les exigences de l'<ref-law>, qui requiert notamment une sommation mentionnant les conséquences du défaut de paiement dans le délai imparti. Il n'apparaît pas non plus que la locataire aurait clairement reconnu le bien-fondé du congé et obtenu une "grâce" des bailleurs, qui leur permettrait de résilier le contrat nonobstant le délai de protection à la prochaine incartade de la locataire. Il n'est du reste pas établi qu'elle aurait à nouveau eu du retard dans le paiement de son loyer.
Les recourants se réfèrent à la phrase suivante de la locataire, extraite de son courriel du 5 juillet 2012: "Vous pouvez obtenir mon évacuation. Mais à quel prix?". Cette phrase ne figure pas dans l'état de fait des décisions cantonales (cf. art. 97 al. 1 et 105 al. 2 LTF; <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 1.4.3). Quand bien même l'on voudrait en tenir compte, il faudrait constater que sans éléments plus précis, elle ne suffit pas à retenir un cas d'abus de droit, qui doit être manifeste (<ref-law>).
3.5. En bref, l'autorité précédente n'a pas enfreint le droit fédéral en faisant application de l'art. 271a al. 1 let. e CO et en considérant que le congé donné pendant la période de protection était annulable.
Cette conclusion prive d'objet le grief tiré d'une violation de l'<ref-law>.
4.
En définitive, le recours doit être rejeté. En conséquence, les bailleurs recourants supporteront solidairement les frais de la présente procédure (art. 66 al. 1 et 5 LTF).
La locataire intimée a déposé une réponse qui paraît tardive. Elle a de toute façon agi sans l'assistance d'un avocat, et partant sans encourir de frais particuliers, ce qui exclut déjà l'octroi de dépens (<ref-ruling> consid. 4).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Un émolument judiciaire de 2'000 fr. est mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties et à la Chambre des baux et loyers de la Cour de justice du canton de Genève.
Lausanne, le 29 juin 2016
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Kiss
La Greffière: Monti