Faits :
A.
A.a. A._ et B._ ont été liés à la société C._SA par un contrat d'architecte global qu'ils ont résilié prématurément.
Le 2 septembre 2015, la société précitée (la demanderesse) a actionné ses deux mandants (les défendeurs) en paiement de 67'303 fr., somme correspondant à sa prétendue créance d'honoraires (86'203 fr.) après déduction d'un acompte de 18'900 fr.
Les défendeurs ont conclu au rejet de la demande et, reconventionnellement, au paiement de 39'272 fr. 80. Ce montant incluait la restitution de l'acompte versé (18'900 fr.) et le dédommagement des prétendues dépenses (20'372 fr. 80) qu'ils auraient pu éviter si la demanderesse les avait informés en temps utile du coût réel du projet.
Par jugement du 7 mars 2019, le Tribunal civil du Littoral et du Val-de-Travers (NE) a condamné les défendeurs à verser 61'069 fr. 85 à la demanderesse et a rejeté l'action reconventionnelle.
Le Tribunal cantonal neuchâtelois a confirmé cette décision le 27 septembre 2019.
A.b. Par arrêt 4A_534/2019 du 13 octobre 2020, le Tribunal fédéral a partiellement admis le recours en matière civile déposé par les défendeurs et réformé l'arrêt attaqué en ce sens qu'il a rejeté la demande principale et partiellement admis la demande reconventionnelle, la demanderesse étant condamnée à payer 18'900 fr. aux défendeurs, créanciers solidaires.
La cause a été renvoyée à l'autorité précédente pour qu'elle statue à nouveau sur les frais et dépens de la procédure cantonale.
B.
Par arrêt du 27 janvier 2021, le Tribunal cantonal neuchâtelois a arrêté les frais de la procédure cantonale à 21'360 fr. 95 (15'360 fr. 95 pour la première instance et 6'000 fr. pour la deuxième instance), dont il a mis 4/5èmes (17'088 fr. 75) à la charge de la demanderesse et 1/5ème (4'272 fr. 20) à celle des défendeurs. Après avoir précisé que les dépens pleins pouvaient être évalués à 18'000 fr., il a condamné la demanderesse à verser aux défendeurs 10'800 fr. de dépens pour les deux instances, "après compensation partielle" (cf. au surplus consid. 2.4 infra).
C.
Les défendeurs ont déposé un "recours constitutionnel subsidiaire" auprès du Tribunal fédéral. Ils ont conclu à ce que la demanderesse soit condamnée à leur verser 14'400 fr. de dépens pour les deux instances cantonales.
Ni la demanderesse, ni la cour cantonale n'ont été invitées à se déterminer sur le recours.

Considérant en droit :
1.
Est seul litigieux à ce stade le montant des dépens dus aux défendeurs pour la procédure de première et seconde instances cantonales.
Lorsque, comme en l'espèce, les dépens sont réclamés comme droits accessoires, ils n'entrent pas en ligne de compte dans la détermination de la valeur litigieuse (<ref-law>). Celle-ci, s'agissant d'une décision finale, se mesure à l'aune des conclusions restées litigieuses sur le fond devant l'autorité précédente (<ref-law>; <ref-ruling> consid. 1.2.1 et 1.2.2; arrêt 4A_200/2011 du 29 juin 2011 consid. 1.1). Dans l'hypothèse où cette autorité statue après un renvoi du Tribunal fédéral, est décisif le montant qui était initialement litigieux devant elle, et non le montant sur lequel elle a encore dû statuer après l'arrêt de renvoi. Cette règle vaut aussi lorsque le renvoi concerne uniquement les frais et dépens de la procédure cantonale (arrêts 4A_10/2021 du 1er mars 2021 consid. 1; 4A_74/2020 du 28 mai 2020 consid. 1).
En l'occurrence, les conclusions initialement litigieuses devant l'autorité précédente excédaient 30'000 fr. aussi bien dans l'action principale que dans l'action reconventionnelle (cf. <ref-law>), ce qui ressort de l'arrêt fédéral du 13 octobre 2020. Le seuil de la valeur litigieuse requise étant atteint (cf. <ref-law>), la décision de l'autorité d'appel statuant après renvoi sur les frais et dépens de la procédure cantonale est sujette au recours en matière civile, à l'exclusion du recours constitutionnel subsidiaire (<ref-law>). Peu importe que les recourants se soient mépris à ce sujet. En effet, l'intitulé erroné d'un recours ne nuit pas à son auteur, pour autant que soient réunies les conditions de recevabilité du recours qui aurait dû être interjeté (<ref-ruling> consid. 1.2 p. 382; <ref-ruling> consid. 1.2). Les recourants dénoncent une application arbitraire du droit fédéral, plus précisément de l'<ref-law>. Le grief d'arbitraire n'est pas recevable en tant que tel dans un recours en matière civile; en effet, dans cette voie de droit ordinaire, le Tribunal fédéral revoit librement l'application du droit fédéral sans que sa cognition puisse être restreinte à l'arbitraire. Il s'ensuit que l'autorité de céans examine avec un plein pouvoir la violation de la règle de droit fédéral dénoncée par le recourant sous le prisme trop restreint de l'arbitraire (<ref-ruling> consid. 1.2 p. 383; arrêt 5A_142/2020 du 24 décembre 2020 consid. 2.2 et les arrêts cités). En bref, le recours peut être converti et sera traité comme un recours en matière civile.
Les autres conditions de recevabilité de cette voie de droit sont réalisées au surplus, les défendeurs ayant en particulier agi en temps utile (<ref-law>) à l'encontre d'une décision finale (<ref-law>; cf. arrêt 4A_94/2018 du 28 septembre 2018 consid. 1.1; arrêt précité 4A_200/2011 consid. 1.1) rendue sur appel par un tribunal supérieur (<ref-law>).
2.
2.1. Les recourants se plaignent d'une violation "arbitraire" de l'<ref-law>. Ils précisent ne pas disputer le montant de 18'000 fr. fixé pour de pleins dépens, ni la clé de répartition retenue (selon laquelle les recourants ont obtenu gain de cause sur 4/5èmes ou 80% des conclusions, et partant l'intimée sur 1/5ème ou 20% des conclusions). En revanche, ils relèvent que 80% de 18'000 fr. équivaut à 14'400 fr. En leur allouant seulement 10'800 fr. de dépens, soit 60% de 18'000 fr., l'autorité précédente aurait sombré dans l'arbitraire.
2.2. L'<ref-law> prescrit de répartir les frais lato sensu - i.e les frais judiciaires et les dépens (<ref-law>) - selon le sort de la cause lorsqu'aucune des parties n'obtient entièrement gain de cause. La répartition doit être proportionnelle à la mesure dans laquelle chaque partie a succombé (DENIS TAPPY, in Commentaire romand, 2e éd. 2019, n° 33 ad <ref-law>).
Pour déterminer cette proportion, il faut généralement comparer ce que chaque partie a obtenu par rapport aux conclusions litigieuses. Lorsque celles-ci émanent d'une demande principale et d'une demande reconventionnelle qui ne s'excluent pas mutuellement, le juge doit en principe additionner les valeurs litigieuses respectives et examiner ce qu'obtient finalement chaque partie à l'aune de cette somme globale (cf. <ref-law>; RÜEGG/RÜEGG, in Basler Kommentar, 3e éd. 2017, n° 4 ad <ref-law>; DAVID JENNY, in Kommentar zur Schweizerischen Zivilprozessordnung, 3e éd. 2016 [Sutter-Somm et alii éd.], n° 11 ad <ref-law>; MARTIN STERCHI, in Berner Kommentar, 2012, n° 9 ad <ref-law>; cf. aussi TAPPY, op. cit., n° 22 ad <ref-law>).
La même règle prévaut habituellement pour les dépens de la procédure de recours au Tribunal fédéral (cf. art. 68 al. 1 et 2 LTF en lien avec l'art. 3 al. 2 [2e phrase] du Règlement sur les dépens alloués à la partie adverse [...], RS 173.110.210.3; BERNARD CORBOZ, in Commentaire de la LTF, 2e éd. 2014, n° 42 ad <ref-law>).
2.3. Dans le cas concret, la cour cantonale a additionné les conclusions litigieuses dans l'action principale (67'303 fr.) et dans l'action reconventionnelle (39'272 fr.), obtenant un total de 106'575 fr. Elle a constaté que les défendeurs avaient obtenu gain de cause à raison des 4/5èmes du litige, et partant succombé pour 1/5ème selon l'analyse suivante: gain = rejet total de la demande principale en paiement de 67'303 fr., plus admission partielle de l'action reconventionnelle à hauteur de 18'900 fr., soit en définitive 86'203 fr. sur un total de 106'575 fr., correspondant à 80 % ou 4/5èmes des conclusions litigieuses. Elle a réparti les frais judiciaires entre les deux camps selon cette clé.
La cour cantonale a par ailleurs jugé que de pleins dépens pour l'ensemble de la procédure cantonale (première et deuxième instances) devraient être fixés à 18'000 fr. Elle est arrivée à la conclusion qu'après compensation partielle, la demanderesse devait aux défendeurs 10'800 fr. (14'400 fr. - 3'600 fr.).
2.4. Ce pan de décision relatif aux dépens est très succinctement motivé. On comprend toutefois en filigrane que l'autorité précédente a appliqué aux dépens la même clé de répartition que pour les frais judiciaires. Les défendeurs ayant obtenu gain de cause à raison de 4/5èmes, ils avaient droit à des dépens dans cette mesure, soit 14'400 fr. ou 4/5èmes de 18'000 fr. La demanderesse avait elle aussi encouru des frais d'avocat et partiellement obtenu gain de cause, à raison d'1/5ème. Elle disposait dans cette mesure d'une prétention en remboursement de ses frais d'avocat arrêtés par les juges à 18'000 fr., soit en définitive 3'600 fr. (1/5ème de 18'000 fr.).
Après compensation des créances en paiement de dépens existant dans chaque camp (14'400 fr. pour les défendeurs, 3'600 fr. pour la demanderesse), cette dernière devait finalement 10'800 fr. aux défendeurs (14'400 - 3'600 fr.).
En fin de compte, la cour cantonale n'a fait que reprendre la méthode pratiquée habituellement par le Tribunal fédéral pour les dépens de la procédure fédérale, et en particulier dans son arrêt de renvoi du 13 octobre 2020. Elle a notamment repris la même clé de répartition de 4/5èmes - 1/5ème retenue dans cette décision. Bien que les considérants ne le mentionnent pas, l'autorité de céans avait estimé pour chaque camp le montant de pleins dépens à 6'000 fr. Les défendeurs (recourants) avaient ainsi une créance de dépens de 4'800 fr. envers la partie adverse (4/5èmes de 6'000 fr.), tandis que celle-ci avait elle-même droit à 1'200 fr. pour ses propres dépens (1/5ème de 6'000 fr.). Après compensation, elle restait devoir aux défendeurs (recourants) 3'600 fr. de dépens (4'800 fr. - 1'200 fr.), montant qu'elle a été condamnée à payer (pour un autre exemple, cf. arrêt 4A_450/2020 du 19 mars 2021 consid. 10).
Alignée sur celle du Tribunal fédéral, la méthode appliquée par les juges cantonaux ne contrevient pas à l'<ref-law> (ni, a fortiori, en constitue une application arbitraire). Les commentateurs de l'<ref-law> prescrivent de procéder à l'addition des conclusions principales et reconventionnelles dans la mesure où elles ne s'excluent pas mutuellement, à l'instar de ce qui prévaut concernant l'<ref-law>. Les recourants ont d'ailleurs déclaré adhérer à cette clé de répartition ainsi qu'au montant retenu par la cour cantonale pour de pleins dépens (18'000 fr.).
En raison d'une motivation succincte qui n'a rien d'inhabituel, un pan du calcul effectué a pu échapper aux recourants. Cela étant, ils ont recueilli de l'autorité concernée une explication circonstanciée (courrier du 8 février 2021). Ils semblent néanmoins être restés sous l'emprise d'une erreur contre laquelle la doctrine met en garde (cf. CORBOZ, op. cit., n° 42 ad <ref-law>; cf. aussi THOMAS GEISER, in Basler Kommentar, 2e éd. 2018, n° 15 ad <ref-law>) : lorsqu'aucune des parties représentées par un avocat n'obtient entièrement gain de cause, il faut se souvenir que chacune d'elles a encouru des frais d'avocat et dispose en principe contre l'autre d'une créance en paiement de dépens réduits, proportionnelle à son gain partiel dans le procès. Logiquement, il est procédé à une compensation entre ces créances respectives - ce qu'a fait à juste titre l'autorité précédente (cf. arrêt précité 4A_450/2020 consid. 10; cf. aussi arrêt 4A_631/2017 du 24 avril 2018 consid. 5.4 et le raccourci proposé par CORBOZ, op. cit., eodem loco). La comparaison que les recourants effectuent avec la répartition des frais judiciaires est stérile; il ne saurait être question de compensation dans ce cas-ci puisque ces frais n'ont qu'un seul créancier, qui est l'Etat.
3.
Pour les motifs qui précèdent, il y a lieu de rejeter le présent recours, traité comme un recours en matière civile. En conséquence, les recourants supporteront les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Leur adverse partie n'ayant pas été invitée à déposer une réponse, elle ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais de procédure, fixés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties ainsi qu'au Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 1er juin 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Monti