Faits :
A.
La société anonyme B._ SA est locataire d'une surface commerciale dans un immeuble situé à Lausanne. Le 17 mai 2013, les bailleurs A.A._ et B.A._ lui ont notifié un congé pour le 31 août 2014.
Le 15 juin 2013 (date du sceau postal), la locataire a saisi la commission de conciliation en matière de baux à loyer d'une requête visant à faire prolonger son bail pour une durée de cinq ans. L'écriture était cosignée par l'administrateur président et un administrateur de la société, titulaires de la signature collective à deux. Les bailleurs ont pris des conclusions en rejet de la requête et en constatation de la validité du congé.
L'audience de conciliation s'est tenue le 18 septembre 2013. Un seul des signataires de la requête a comparu pour la locataire. Les bailleurs étaient représentés par un collaborateur de la gérance en charge de l'immeuble et par un avocat. D'entrée de cause, le conseil des bailleurs a demandé à ce que le défaut de la locataire soit constaté, arguant que celle-ci ne pouvait pas être valablement représentée par un seul administrateur doté de la signature collective à deux. L'autorité a vainement tenté la conciliation.
Par courrier du 20 septembre 2013, les bailleurs ont renouvelé leur demande visant à faire constater le défaut de la société locataire et le retrait de sa requête en prolongation de bail, la procédure étant devenue sans objet.
Le 23 septembre 2013, la commission de conciliation a émis la proposition de jugement suivante: le congé notifié pour le 31 août 2014 est valable; la locataire se voit accorder une prolongation unique expirant le 31 décembre 2015; elle a la possibilité de résilier son bail en tout temps dès le 31 août 2014 moyennant un préavis de trois mois pour la fin d'un mois; toute autre conclusion est rejetée. La commission a brièvement expliqué pour quels motifs elle renonçait à retenir un défaut de la locataire à l'audience du 18 septembre 2013.
B.
Le 4 octobre 2013, les bailleurs ont saisi le Tribunal cantonal vaudois d'un recours contre la proposition de jugement, dans lequel ils concluaient à ce que soient constatés le défaut de la locataire à l'audience de conciliation et la nullité de la proposition de jugement, la cause devant être rayée du rôle. La locataire n'a pas été invitée à se déterminer.
Par arrêt du 13 novembre 2013, la Chambre des recours civile du Tribunal cantonal a rejeté le recours et confirmé la décision querellée. Elle a considéré que la proposition de jugement privait définitivement les bailleurs de la possibilité d'invoquer l'éventuelle péremption des délais prévus à l'<ref-law> et qu'elle pouvait ainsi leur causer un préjudice difficilement réparable; le recours était donc recevable (<ref-law>). Sur le fond, la Chambre a relevé que l'on ignorait si l'administrateur présent à l'audience était muni ou non d'une procuration d'un autre organe, de sorte que les conditions de fait au constat d'un éventuel défaut de la locataire n'étaient pas réunies. Il fallait adopter une position souple et admettre que la conciliation pouvait être tentée du moment que la signature d'un éventuel accord était possible séance tenante; l'on pouvait même envisager que la convention puisse être ratifiée ultérieurement.
C.
Les bailleurs saisissent le Tribunal fédéral d'un recours en matière civile. Dénonçant une violation de l'<ref-law> et un établissement inexact des faits, ils concluent principalement à ce que soient constatés le défaut de la locataire à l'audience de conciliation et la nullité de la proposition de jugement, la cause devant être rayée du rôle. Subsidiairement, ils requièrent l'annulation de l'arrêt et le renvoi de la cause à l'autorité précédente pour nouvelle décision.
La locataire intimée conclut à l'irrecevabilité du recours, subsidiairement à son rejet. L'autorité précédente se réfère à son arrêt.

Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office si l'autorité précédente a respecté les règles de compétence impératives, en particulier celles organisant les voies de droit. Le consentement des parties ne permet pas de rendre compétente une autorité de recours qui ne l'est pas en vertu de la loi (cf., mutatis mutandis, BERNARD CORBOZ, in Commentaire de la LTF, 2 e éd. 2014, n° 29 ad <ref-law>, p. 1254). Dans un tel cas, le Tribunal fédéral constate l'incompétence de l'autorité précédente, respectivement l'inexistence de la voie de droit. En revanche, il n'entre pas en matière sur le fond puisque l'autorité précédente était elle-même dépourvue d'une telle compétence (cf. YVES DONZALLAZ, in Loi sur le Tribunal fédéral, 2008, n° 414 ad art. 29/30 LTF).
1.2. Dans le cadre d'une procédure en prolongation de bail (<ref-law>), les bailleurs ont requis la commission de conciliation de constater le défaut de comparution de la locataire et de rayer l'affaire du rôle, la procédure étant privée d'objet. La commission a implicitement rejeté cette requête en même temps qu'elle émettait une proposition de jugement. Les bailleurs ont alors déposé recours auprès du Tribunal cantonal pour contester le refus de rayer la cause. Ledit tribunal a jugé un tel recours recevable. Il convient de s'interroger sur le bien-fondé de cette analyse.
1.3.
1.3.1. Dans un litige relatif à la prolongation d'un bail commercial, l'autorité de conciliation peut soumettre aux parties une proposition de jugement (<ref-law>). Il s'agit d'une proposition de règlement à l'amiable, qui devient une décision définitive et exécutoire si aucune des parties ne forme opposition dans le délai de 20 jours prévu à l'<ref-law> (Message du 28 juin 2006 relatif au code de procédure civile suisse, FF 2006 6941). En cas d'opposition, l'autorité de conciliation délivre une autorisation de procéder à son auteur (<ref-law>), et celui-ci dispose de 30 jours pour déposer une demande devant le tribunal (<ref-law>). S'il n'agit pas en temps utile, la proposition de jugement est considérée comme reconnue et déploie les effets d'une décision entrée en force (<ref-law>).
La doctrine s'accorde à dire que la proposition de jugement ne peut être attaquée que par la voie de l'opposition. Elle admet par ailleurs la possibilité de former une requête en restitution du délai d'opposition fondée sur l'<ref-law>, ou une demande de révision contre une proposition de jugement entrée en force. D'aucuns reconnaissent la faculté de recourir au sens de l'<ref-law> dans le cas particulier où l'autorité de conciliation constaterait à tort qu'aucune opposition n'a été formée dans le délai légal; une autre solution consisterait à déposer une demande devant le tribunal et à faire valoir ses droits dans ce cadre (cf. les avis exprimés par JÖRG HONEGGER, in Kommentar zur Schweizerischen Zivilprozessordnung, SUTTER-SOMM ET ALII ÉD., 2 e éd. 2013, n° 11 ad <ref-law>; STAEHELIN ET ALII, Zivilprozessrecht, 2 e éd. 2013, p. 373 s. n. 40; DOMINIK INFANGER, in Basler Kommentar, 2 e éd. 2013, n os 5 et 7 ad art. 210 et n° 7 ad <ref-law>; FRANÇOIS BOHNET, in Code de procédure civile commenté, 2011, n os 2 et 6 ad <ref-law>; BASTIEN SANDOZ, La conciliation, in Procédure civile suisse, 2010, p. 86 n. 85 i.f.; ALEXANDER WYSS, in Schweizerische Zivilprozessordnung [ZPO], BAKER & MCKENZIE ÉD., 2010, n° 3 ad <ref-law>; CHRISTINE MÖHLER, in ZPO Kommentar, GEHRI/KRAMER ÉD., 2010, n° 2 ad <ref-law>). Un auteur précise que la voie de l'opposition doit être empruntée même lorsqu'il s'agit de contester des vices formels tels que l'incompétence de l'autorité de conciliation saisie (cf. BRIGITTE RICKLI, in Schweizerische Zivilprozessordnung [ZPO], BRUNNER ET ALII ÉD., 2011, n° 22 ad <ref-law>).
1.3.2. Le Tribunal fédéral a été amené à préciser que l'autorisation de procéder n'est pas une décision, de sorte qu'elle ne peut faire l'objet ni d'un recours, ni d'un appel; la validité de cet acte doit être examinée d'office par le tribunal devant lequel l'action doit être portée (<ref-ruling> consid. 2.1 et 2.3). Ce tribunal pourra par exemple être amené à constater qu'une partie n'a pas comparu personnellement à l'audience de conciliation, que l'autorité de conciliation a méconnu cette situation et délivré une autorisation de procéder non valable, et qu'en conséquence, une des conditions de recevabilité de la demande fait défaut (<ref-ruling> consid. 5).
1.4. Il faut admettre que lorsque le justiciable refuse de se soumettre à une proposition de jugement, quel que soit son motif, il dispose uniquement de la voie de l'opposition; il lui suffit d'exprimer son refus, sans avoir à le justifier (art. 211 al. 1 in fine CPC). En l'occurrence, l'autorité de conciliation a certes aussi refusé (implicitement) de constater le défaut de comparution et de rayer la cause. Toutefois, du moment qu'elle émettait une proposition de jugement, les bailleurs pouvaient soit accepter son projet de règlement à l'amiable et renoncer à invoquer le défaut, soit rejeter cette proposition et obtenir une autorisation de procéder devant le tribunal, auquel ils pouvaient soumettre une nouvelle demande de rayer la cause du rôle (cf. au surplus infra, consid. 1.6). Les bailleurs ne pouvaient pas recourir au Tribunal cantonal pour lui faire trancher la seule question du défaut de comparution et préserver la proposition de jugement, dans l'hypothèse où leur recours serait rejeté. Le Tribunal cantonal aurait donc dû déclarer le recours irrecevable.
1.5. Il n'en demeure pas moins que les bailleurs ont exprimé, dans le délai de l'<ref-law>, leur refus d'accepter telle quelle la proposition de jugement, ce qui suffit en soi pour former une opposition valable. Ils ont utilisé une voie de droit inexistante, alors que la proposition de jugement indiquait correctement quelle procédure adopter pour la contester, soit l'opposition. La situation était toutefois particulière, dans la mesure où l'autorité de conciliation tranchait aussi la question du défaut de comparution à l'audience; or, la procédure à suivre pour contester ce point n'allait pas de soi (cf. infra, consid. 1.6). Dans ces circonstances exceptionnelles, le Tribunal cantonal devait transmettre d'office le recours pour valoir opposition à l'autorité de conciliation.
1.6. L'arrêt attaqué doit être annulé, conformément à ce qui vient d'être jugé dans une affaire semblable (4A_616/2013 du 16 juin 2014 consid. 3.3, destinée à la publication), et conformément aux conclusions subsidiaires des recourants.
La cause est retournée à l'autorité précédente, qui rendra une nouvelle décision relative aux frais et, pour le surplus, transmettra la cause à l'autorité de conciliation pour que celle-ci y donne les suites utiles. A cet égard, il sied d'apporter les précisions suivantes: d'après une copie de courrier fournie par la locataire, il semble que les bailleurs aient déposé le 14 octobre 2013 une opposition auprès de l'autorité de conciliation; ce courrier invitait l'autorité de conciliation à surseoir à la délivrance de l'autorisation de procéder jusqu'à droit connu sur le recours pendant. L'on ignore ce qu'il est advenu. La locataire affirme que l'autorisation de procéder a été délivrée; les bailleurs prétendent avoir renoncé à saisir le Tribunal des baux.
S'il s'avère qu'aucune opposition formelle n'a été déposée parallèlement au recours, ou si la commission de conciliation n'y a pas encore donné suite, s'abstenant de délivrer une autorisation de procéder jusqu'à droit connu sur le recours, il lui appartiendra de notifier une telle autorisation aux bailleurs, qui auront 30 jours pour saisir le tribunal (art. 209 al. 4 et <ref-law>); ils pourront notamment inviter celui-ci à statuer sur le prétendu défaut de comparution de la demanderesse initiale à l'audience de conciliation. Il peut certes sembler étrange de devoir obtenir une autorisation de procéder, pour ensuite déposer une demande visant à faire constater au tribunal que cet acte n'aurait pas dû être délivré et que les conditions de recevabilité de l'action ne sont pas réalisées. Il s'agit toutefois d'une conséquence de la procédure prévue par le législateur, et en particulier de la règle spéciale qui impose de délivrer l'autorisation de procéder à l'opposant plutôt qu'au demandeur (<ref-law>), ce qui peut entraîner l'inversion du rôle tenu par les parties lorsque l'opposition émane du défendeur initial. Il faut garder à l'esprit qu'il s'agit pour les opposants de faire échec à l'entrée en force de la proposition de jugement et de faire constater par le tribunal que la demanderesse initiale ne peut pas valablement prendre devant lui des conclusions en prolongation de bail, compte tenu de son défaut à l'audience de conciliation.
Dans l'hypothèse où l'autorité de conciliation aurait déjà délivré une autorisation de procéder et où les bailleurs se seraient abstenus d'agir dans le délai de 30 jours, cela impliquerait que la proposition de jugement déploie les effets d'une décision entrée en force (<ref-law>).
Enfin, il est expédient de mentionner que la cour de céans a récemment publié un arrêt concernant la comparution à l'audience de conciliation. Il en ressort que l'obligation de comparution personnelle imposée par l'<ref-law> vaut aussi à l'égard des personnes morales. Pour que la conciliation puisse remplir son but, la société doit comparaître par un organe, ou à tout le moins par un mandataire commercial disposant du pouvoir de plaider et de disposer de l'objet du litige. L'organe ou le mandataire commercial doit pouvoir agir sans réserve et valablement; il doit en particulier être habilité à conclure une transaction. Une ratification après l'audience n'entre pas en considération (<ref-ruling> précité, consid. 4.3 p. 72 et consid. 4.4).
2.
En définitive, aucune des parties n'obtient gain de cause. Le recours des bailleurs est certes admis, mais partiellement, au motif qu'ils ont emprunté une voie de droit inexistante. Quant à la locataire intimée, elle plaidait l'irrecevabilité du recours ou son rejet sur le fond. Les frais de la présente procédure seront dès lors supportés par la locataire pour une moitié, l'autre moitié étant mise à la charge des bailleurs, solidairement entre eux (art. 66 al. 1 et 5 LTF). Les dépens seront compensés (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. L'arrêt attaqué est annulé et la cause renvoyée à l'autorité précédente.
2.
Les frais judiciaires, fixés à 2'000 fr., sont mis par 1'000 fr. à la charge des recourants, solidairement entre eux, le solde étant supporté par l'intimée.
3.
Les dépens sont compensés.
4.
Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 juillet 2014
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Klett
La Greffière : Monti