Faits :
A.
A.a. Par acte du 11 octobre 2006, B._ a vendu à C._SA une parcelle construite sise dans la commune de U._ (VS). La société précitée envisageait de démolir l'immeuble locatif acquis pour construire un lotissement de plusieurs villas; son projet n'a finalement pas abouti.
A.b. C._SA a alors proposé à A._ d'acquérir l'appartement que le prénommé occupait dans l'immeuble depuis plus de dix ans. L'intéressé et son épouse ont accepté le principe d'une acquisition, mais ont porté leur choix sur d'autres locaux du même bâtiment; la propriétaire a acquiescé.
Le 16 octobre 2007, C._SA et les époux A._ ont signé une promesse de vente et d'achat devant notaire, sur la base de laquelle le couple a pris possession des locaux en novembre 2007, pensant de bonne foi qu'ils allaient en devenir propriétaires.
L'appartement choisi ne disposait à l'époque ni d'une cuisine ni de sanitaires, et le balcon n'était pas terminé; son insalubrité le rendait inhabitable. Il était convenu que les époux A._ achetaient les locaux à l'état brut et entreprendraient des travaux à leurs frais.
Avec l'accord de C._SA, les promettants-acquéreurs ont débuté les travaux en novembre 2007 pour les achever en février 2008, époque à laquelle ils se sont établis dans l'appartement rénové. Les aménagements, réalisés par le promettant lui-même, ont consisté à installer une cuisine neuve et une salle de bains munie d'une nouvelle cabine de douche, à rénover les murs et peintures, à lamer le plafond et à poser l'installation électrique, le carrelage, le parquet, l'isolation, les fenêtres, ainsi que des portes, stores et caissons de stores.
L'acte de vente de l'appartement a été signé devant notaire le 8 avril 2008 par C._SA en qualité de venderesse et par les époux A._ en tant qu'acquéreurs en copropriété par moitié chacun. Le prix convenu se montait à 75'000 fr., dont 10'000 fr. étaient payables "avant ce jour et dont quittance", le solde devant être acquitté par mensualités de 900 fr. "à partir du 1er janvier 2008 jusqu'au paiement complet". L'acte précisait que la prise de possession était déjà intervenue.
A.c. La faillite de C._SA a été prononcée par jugement du... mai 2008, avec effet le même jour. Le transfert de propriété de l'appartement n'avait pas encore été inscrit au registre foncier. L'immeuble abritant l'appartement est ainsi tombé dans la masse en faillite de C._SA.
Un expert immobilier mandaté par l'office des faillites a fixé la valeur vénale de l'appartement après transformation à 126'000 fr. et la valeur admise en cas de vente forcée à 101'000 fr.; l'appartement se trouvait selon lui dans un excellent état.
A.d. Les époux A._ ont produit une créance de 91'300 fr. dans la faillite de la société venderesse, dont 75'000 fr. pour les travaux personnels effectués, 10'000 fr. pour l'acompte versé avant la signature de l'acte de vente et 5'400 fr. pour les six mensualités de 900 fr. payées en mains de la faillie entre janvier et juin 2008. Cette production a été admise. Durant la procédure de liquidation forcée, A._ a versé un loyer mensuel de 900 fr. à l'office des faillites pour l'usage de l'appartement.
A.e. Le 4 mai 2009, le prénommé a participé aux enchères publiques sans effectuer de mise. B._, jadis propriétaire de l'immeuble (let. A.a supra), a obtenu l'adjudication de l'appartement pour 101'000 fr.
A.f. Consécutivement, A._ a conservé l'usage des locaux en vertu d'un contrat de bail. La nouvelle propriétaire a fixé le loyer mensuel à 1'300 fr., mais le prénommé n'a versé que 800 fr. par mois entre mai et décembre 2009. La bailleresse n'a alloué aucune indemnité pour les aménagements réalisés dans l'appartement.
A une date indéterminée, le locataire a démarché la bailleresse pour lui racheter l'appartement, sans succès.
A.g. Par courrier du 16 octobre 2009, la bailleresse a signifié une première résiliation de bail qui a été annulée par l'autorité de conciliation. Un nouveau congé a été valablement notifié pour le 30 avril 2010.
Dans une missive du 11 décembre 2009, les époux A._ ont dénoncé des "pressions psychologiques" exercées par la famille de la bailleresse et ont informé cette dernière qu'ils mettaient un terme anticipé au contrat pour le 31 décembre 2009.
Ils ont restitué les clés de l'appartement par pli du 30 décembre 2009.
A.h. Lorsqu'il a quitté l'appartement en décembre 2009, A._ a démonté et emporté le mobilier ainsi qu'une grande partie des aménagements qu'il avait réalisés. Il a en outre endommagé des aménagements laissés en place.
A.i. La bailleresse a déposé plainte pénale contre le prénommé le 1er juillet 2010; un jugement du 17 décembre 2012 a reconnu celui-ci coupable de dommages à la propriété (art. 144 CP) pour avoir dégradé l'appartement en cause.
B.
B.a. Le 5 septembre 2011, la bailleresse a déposé une requête de preuve à futur devant le Tribunal des districts d'Hérens et Conthey (VS), lequel a désigné en qualité d'expert judiciaire la personne précédemment mandatée par l'office des faillites (let. A.c supra). L'expert a dressé la liste des éléments fixes ayant été démontés, endommagés ou cassés et a estimé le coût des travaux de rétablissement et de réfection dans deux rapports des 4 avril 2012 et 6 novembre 2012. La procédure probatoire a pris fin le 5 février 2013.
Le 22 mai 2013, la bailleresse a assigné le locataire en conciliation devant le même tribunal. Elle a ensuite déposé une demande en paiement le 8 octobre 2013, dans laquelle elle prétendait aux montants de 67'000 fr. à raison du préjudice causé à son appartement, 49'400 fr. au titre de perte locative, 9'375 fr. 30 pour ses frais de représentation dans la procédure pénale et 6'400 fr. en remboursement des avances faites dans la procédure de preuve à futur. Elle a ultérieurement demandé à être indemnisée pour des arriérés de loyer.
Au terme de sa réponse du 5 mars 2014, le locataire a requis le rejet de la demande et pris des conclusions reconventionnelles visant à faire condamner la bailleresse au paiement de 24'473 fr. 10 "à titre d'indemnité pour la plus-value apportée à l'appartement suite aux travaux de rénovation effectués par [s]es soins", plus 2'400 fr. en remboursement des avances faites dans la procédure de preuve à futur.
Par jugement du 22 décembre 2017, le Juge des districts d'Hérens et Conthey a partiellement admis la demande principale, en ce sens qu'il a condamné le locataire à verser à la bailleresse les montants suivants, assortis d'intérêts:
- 43'699 fr. (soit 27'956 fr. pour le remplacement des aménagements emportés par le locataire et 15'743 fr. pour les dommages causés lors de l'enlèvement),
- 12'880 fr. (pour la perte locative subie),
- 800 fr. (solde de loyer afférent aux mois de mai à décembre 2009)
- 3'600 fr. (loyers impayés entre janvier et avril 2010).
Il a rejeté la demande reconventionnelle.
B.b. Le 5 mai 2020, le Tribunal cantonal valaisan a très partiellement admis l'appel du locataire et réformé la décision attaquée en tant qu'elle concernait la demande principale: il a circonscrit la condamnation du locataire au paiement de 43'699 fr. et 12'880 fr., à l'exclusion des deux derniers postes (800 fr. et 3'600 fr.); les conclusions y relatives ont été déclarées irrecevables. A l'instar du premier juge, il a confirmé le rejet de la demande reconventionnelle.
C.
A._ a interjeté un recours en matière civile au Tribunal fédéral, à l'issue duquel il a repris les conclusions formulées en première instance (cf. let. B.a supra) et en appel.
L'autorité précédente s'est brièvement déterminée sur le recours dont elle a sollicité le rejet. Quant à l'intimée, elle a indiqué s'en remettre aux considérants du jugement attaqué qui conduisaient au rejet du recours.
Le recourant a spontanément répliqué aux déterminations du Tribunal cantonal, pièces à l'appui.
L'intimée a succinctement exprimé son opposition au dépôt d'une pièce en particulier - soit un extrait de courrier daté du 16 juillet 2010 censé émaner de l'ancien conseil du recourant -, arguant qu'il s'agissait d'un moyen de preuve nouveau irrecevable à ce stade. Le recourant a réfuté cette analyse dans une écriture du 11 novembre 2020 (Act. 22).

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (art. 74 al. 1 let. a LTF) et au délai de recours (art. 100 al. 1 LTF).
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). "Manifestement inexactes" signifie ici "arbitraires" (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5). Conformément au principe strict de l'allégation énoncé par l'art. 106 al. 2 LTF (<ref-ruling> consid. 2.3 p. 266 et les références), la partie qui entend rectifier l'état de fait de l'arrêt attaqué doit expliquer clairement et de manière circonstanciée en quoi les conditions pour ce faire seraient réalisées, en particulier démontrer en quoi les constatations litigieuses seraient entachées d'arbitraire (<ref-ruling> consid. 1.3.1 p. 18 et les références).
L'art. 99 al. 1 LTF proscrit la présentation d'un fait nouveau ou d'une preuve nouvelle à moins qu'ils ne résultent de la décision de l'autorité précédente. Sont visés par cette exception les faits ou preuves qui sont rendus pertinents pour la première fois par la décision attaquée. Tel est notamment le cas lorsque l'instance précédente s'appuie sur un nouvel argument juridique auquel les parties n'avaient pas été confrontées précédemment (<ref-ruling> consid. 4.4.3 p. 129).
Le courrier du 16 juillet 2010 est un véritable novum qui "ne résulte pas" de la décision attaquée, contrairement à ce que soutient le recourant en se prévalant indûment du cas de figure précité. Dans la mesure où les autres pièces produites ne figureraient pas au dossier cantonal, elles se heurteraient également à l'écueil d'irrecevabilité.
2.2. Le recours en matière civile peut être exercé pour violation du droit fédéral (art. 95 let. a LTF), notion qui inclut le droit constitutionnel. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) et n'est donc lié ni par l'argumentation des parties, ni par les considérants de l'autorité précédente. Eu égard, toutefois, à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), il ne traite d'ordinaire que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2; <ref-ruling> consid. 2; <ref-ruling> consid. 1.3). En outre, par exception à la règle selon laquelle il applique le droit d'office, il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (principe d'allégation précité; ATF <ref-ruling> consid. 1.4 in fine).
3.
Pour mémoire, les juges cantonaux ont condamné le locataire sortant à payer les montants suivants à la bailleresse (intérêts en sus) :
a) 27'956 fr. pour les équipements enlevés indûment,
b) 15'743 fr. pour les dommages occasionnés lors de cet enlèvement (ces deux postes formant un sous-total de 43'699 fr.), et
c) 12'880 fr. pour la perte locative subie.
Alors qu'il réclamait lui-même 24'473 fr. 10 pour les "plus-values" prétendument considérables qu'il aurait laissées dans l'appartement, plus 2'400 fr. en remboursement d'avances faites dans la procédure de preuve à futur, le locataire a été éconduit.
Devant l'autorité de céans, il persiste à requérir le rejet de la demande principale et l'admission de sa demande reconventionnelle.
4.
Il sied d'examiner tout d'abord les conclusions et griefs concernant la demande reconventionnelle.
4.1. Le recourant ne dit pas en quoi le droit fédéral aurait été violé par le rejet de sa conclusion en paiement de 2'400 fr.; il avait semble-t-il renoncé à discuter ce point en appel déjà. Une telle conclusion ne peut qu'être écartée.
4.2. Le recourant a en outre réclamé formellement 24'473 fr. 10 "à titre d'indemnité pour la plus-value apportée à l'appartement suite aux travaux de rénovation effectués par [s]es soins". Il a allégué avoir "quitté l'appartement en laissant pour un montant de Fr. 24'473.10 de matériel qu'il avait investi pour les travaux de rénovation" (all. 90 de la réponse du 5 mars 2014).
L'autorité précédente a reproché au locataire de ne pas avoir établi quels aménagements il avait effectivement laissés dans l'appartement après son départ, respectivement quelle plus-value considérable (art. 260a al. 3 CO) ces éléments apportaient à la chose louée. Il s'était contenté d'émettre une vague allégation selon laquelle "certains aménagements [étaie]nt restés" en place (all. 89 contesté), en proposant sa propre déposition comme unique moyen de preuve. Au demeurant, certains éléments mentionnés dans l'allégué avaient été enlevés, aux dires de l'expert. L'ampleur de la plus-value n'avait pas non plus été démontrée. Pour étayer sa prétention de 24'473 fr., le locataire avait produit une liste de matériel établie en janvier 2010 à l'intention de son avocat, c'est-à-dire pour les besoins de la cause; une telle pièce était dénuée de valeur probante.
Confronté à cette fin de non-recevoir, le recourant s'emploie à démontrer qu'indépendamment des productions effectuées dans la faillite, il pouvait prétendre à une indemnité pour les plus-values laissées dans l'appartement à son départ. Or, l'autorité précédente n'a pas dit le contraire, reconnaissant que le locataire pouvait sur le principe se faire indemniser en vertu de l'art. 260a al. 3 CO. Elle a fondé son refus sur une autre argumentation dont l'intéressé omet d'expliquer en quoi elle contreviendrait au droit fédéral; pareil manquement exclut toute discussion (cf. consid. 2.2 supra).
5.
C'est le lieu de traiter le grief relatif à la première des trois indemnités allouées à la bailleresse, soit 27'956 fr. pour les équipements enlevés indûment par le locataire lorsqu'il a quitté les locaux en décembre 2009.
5.1. L'analyse des juges cantonaux peut se résumer comme il suit:
Le locataire sortant et l'ancienne propriétaire C._SA s'étaient liés par un contrat de bail tacite en attendant que l'acte de vente fût formellement conclu et la propriété de l'immeuble transférée par inscription au registre foncier. Or, un tel transfert n'était jamais intervenu, la prénommée ayant fait faillite le... mai 2008, peu après la conclusion du contrat notarié le 8 avril 2008. Le bail avait passé ex lege à l'adjudicataire de l'appartement (art. 261 al. 1 CO). En conséquence, la question de savoir si le locataire sortant pouvait reprendre les aménagements effectués dans l'appartement devait se résoudre à l'aune des règles sur le bail à loyer - et non des art. 938 s. CC comme le soutenait le locataire.
L'art. 260a al. 3 CO conférait au locataire le droit à une indemnité pour la plus-value considérable apportée à la chose louée. S'agissant de locaux à l'état brut, l'indemnisation du locataire présupposait qu'il n'eût pas déjà bénéficié d'une forme de compensation telle qu'un loyer réduit. Cette hypothèse n'étant pas vérifiée, le locataire pouvait légitimement prétendre à une indemnité ou, à défaut du versement de celle-ci, reprendre les aménagements pour autant qu'il n'endommage pas la chose louée.
En l'occurrence, rien dans le dossier n'indiquait que l'intéressé aurait réclamé une telle indemnité à la nouvelle bailleresse avant de procéder à l'enlèvement des aménagements effectués, tout en étant bien conscient que cette dernière, vu le prix payé (101'000 fr.), avait acheté l'appartement avec l'équipement qu'il contenait, et non à l'état brut. Dans ces circonstances, le locataire ne pouvait se prévaloir d'un droit d'enlèvement exercé de façon non abusive, d'autant moins qu'il avait volontairement endommagé d'autres éléments. En reprenant les aménagements effectués, il avait commis un acte illicite justifiant d'indemniser la bailleresse à hauteur de 27'956 fr. (coûts pour le remplacement à neuf et la réinstallation des aménagements emportés, réduits en équité de 20% pour tenir compte du fait que le locataire avait utilisé du matériel d'occasion).
5.2. Le recourant objecte qu'en sa qualité de possesseur de bonne foi, il avait le droit d'enlever les aménagements effectués ( jus tollendi). Cette prérogative découlerait de l'art. 939 al. 2 CC, qui trouverait application nonobstant l'existence d'un contrat de bail - qu'il conteste au demeurant avoir conclu avec C._SA. Il fait observer qu'aucune règle n'impose de faire valoir expressément son jus tollendi; il incomberait bien plutôt à la partie adverse d'offrir suo motu la contre-valeur - ce qu'elle n'a pas fait. De toute façon, les circonstances d'espèce révéleraient clairement qu'elle aurait refusé de payer une indemnité s'il lui en avait demandé une.
5.3. Il est admis que les aménagements effectués par le recourant sont devenus des parties intégrantes de la chose louée; il lui est reproché d'avoir emporté de tels éléments en quittant l'appartement. L'état de fait étant peu étayé et la qualité de parties intégrantes n'étant pas litigieuse, c'est sur cette prémisse que se conduira la discussion, qui débutera par quelques réflexions théoriques.
5.4.
5.4.1. En vertu du principe d'accession, une partie intégrante n'a pas d'existence juridique propre en droits réels : elle suit le sort de la chose complexe à laquelle elle est rattachée (art. 642 al. 1 CC). Le propriétaire acquiert originairement et par accession la propriété de tout ce qui est uni à sa chose de manière à devenir une partie intégrante de celle-ci, tandis que les droits réels qui portaient sur l'objet devenu partie intégrante s'éteignent sans réserve (BÉNÉDICT FOËX, in Commentaire romand, 2016, nos 21 et 23 ad art. 642 CC; WOLF/WIEGAND, in Basler Kommentar, 6e éd. 2019, nos 31-32 ad art. 642 CC; RUTH ARNET, in Handkommentar zum Schweizer Privatrecht, 3e éd. 2016, nos 11-12 ad art. 642 CC).
Après l'accession, le propriétaire de la chose composée peut devoir, selon les circonstances, payer une indemnité contractuelle, délictuelle ou pour enrichissement illégitime, ou encore tolérer le détachement et l'enlèvement des parties intégrantes par leur ex-propriétaire (ARNET, op. cit., n° 13 ad art. 642 CC; FOËX, op. cit., n° 24 ad art. 642 CC; WOLF/WIEGAND, op. cit., n° 35 ad art. 642 CC). La loi confère un tel droit d'enlèvement (ou droit de reprise, jus tollendi; Wegnahmerecht) à l'usufruitier (art. 753 al. 2 CC), au possesseur de bonne foi (art. 939 al. 2 CC), à la personne enrichie sans cause légitime (art. 65 al. 2 CO) et au gérant d'affaires (art. 422 al. 3 CO) lorsqu'ils ont effectué des impenses non remboursables (WOLF/WIEGAND, op. cit., n° 30 ad art. 642 CC). La doctrine majoritaire soutient qu'un tel jus tollendi doit aussi être reconnu dans les contrats cédant l'usage d'une chose, tel le prêt à usage, le bail à ferme ou le bail à loyer (ARTHUR MEIER-HAYOZ, Berner Kommentar, 5e éd. 1981, n° 59 ad art. 642 CC; VON TUHR/PETER, Allgemeiner Teil des Schweizerischen Obligationenrechts, vol. I, 3e éd. 1979, p. 134; plus récemment, PAUL-HENRI STEINAUER, Les droits réels, t. I, 6e éd. 2019, n° 1469; WOLF/WIEGAND, op. cit., n° 30 ad art. 642 CC; ARNET, op. cit., n° 13 ad art. 642 CC). Elle s'est appuyée sur le droit du bail allemand (§ 539 al. 2 BGB; cf. aussi § 552 BGB). La cour de céans a épousé ce point de vue doctrinal dans un litige de bail à loyer, où elle a évoqué un droit d'enlèvement de nature réelle ( ein [...] sachenrechtliches Wegnahmerecht) permettant au locataire de s'approprier ( Aneignungsrecht) les aménagements à la fin de contrat lorsque le bailleur n'a fourni aucune indemnité pour les impenses (arrêt 4C.345/2005 du 9 janvier 2006 consid. 1.1; cf. aussi arrêt 4A_211/2009 du 2 septembre 2009 consid. 3.3).
5.4.2. Le jus tollendi n'a semble-t-il pas fait l'objet d'études approfondies en droit suisse (en droit allemand, cf. par ex. HENNING WITTIG, Die Wegnahmerechte im Bürgerlichen Gesetzbuch, 2012). Il résulte toutefois des dispositions légales précitées qu'un tel droit est reconnu à l'auteur d'impenses non remboursables (WOLF/WIEGAND, op. cit., n° 30 ad art. 642 CC). Selon la jurisprudence et la doctrine majoritaire, un jus tollendi extra legem doit être reconnu au locataire; il paraît conséquent de réserver l'exercice d'un tel droit pour le cas où le locataire ne peut prétendre à une indemnité pour la plus-value apportée par ses aménagements (cf. BLAISE CARRON, Le bail de locaux nus ou bruts [Rohbaumiete], in 20e Séminaire sur le droit du bail, 2018, p. 141 n. 180; en droit allemand, cf. PALANDT/WEIDENKAFF, in Bürgerliches Gesetzbuch, 79e éd. 2020, n° 3 ad § 539 BGB).
5.4.3. L'art. 260a al. 3 CO confère au locataire le droit à une indemnité lorsque, à la fin du bail, la chose louée présente une plus-value considérable résultant de la rénovation ou de la modification acceptées par le bailleur.
La "plus-value" correspond à la valeur ajoutée à la chose louée, non encore amortie à la fin du bail. Elle s'apprécie objectivement, au regard des frais exposés par le locataire et de l'utilité des travaux pour le bailleur. Elle doit être "considérable", élément qui dépend des circonstances, en particulier du coût des travaux, du loyer payé par le locataire et des avantages dont le bailleur pourra tirer profit.
L'indemnité doit être appréciée en équité par le juge, qui dispose d'un large pouvoir d'appréciation. Son montant ne se mesure pas nécessairement à l'aune de la plus-value qui subsiste et peut être modulé en fonction des particularités du cas d'espèce. Sa quotité pourra varier en fonction de critères tels que le loyer réduit dont a bénéficié le preneur en contrepartie des travaux ou l'augmentation de loyer (économisée) qu'il aurait été amené à débourser si l'ouvrage avait été réalisé par le bailleur; les avantages particuliers qu'entraîne la rénovation ou la modification pour le locataire; inversement, le profit réduit qu'en retire le bailleur, ou encore les circonstances ayant motivé la fin des rapports contractuels (arrêts 4A_335/2018 du 9 mai 2019 consid. 6.2.1; 4C.18/2006 du 29 mars 2006 consid. 3.1.1; 4C.97/2005 du 18 août 2005 consid. 2.4; sur l'applicabilité de l'art. 260a CO en cas de locaux loués à l'état brut: cf. CAROLE AUBERT, in Droit du bail à loyer et à ferme, Commentaire pratique, 2e éd. 2017, n° 30 ad art. 260a CO; CARRON, op. cit., p. 137 s. n. 167 s.; IRENE BIBER, Die Rohbaumiete, 2014, p. 134 s.).
Ces précisions étant apportées, il convient de se pencher sur le cas concret.
5.5. L'autorité précédente a considéré que le recourant avait conclu un bail avec la faillie C._SA, lequel avait été transféré ex lege à l'intimée qui l'avait finalement résilié. Dans la mesure où le recourant avait aménagé des locaux nus sans toucher jusque-là une compensation, il pouvait en principe légitimement prétendre à une indemnité pour plus-value à la fin du bail; la plus-value apportée par ses travaux était incontestable.
L'intimée a fait sienne cette analyse. Quant au recourant, il conteste avoir conclu un bail avec C._SA, par une argumentation qui ne satisfait toutefois pas aux exigences de motivation rappelées ci-dessus (consid. 2). Il méconnaît en outre l'aspect contre-productif de son grief. Le premier juge avait en effet retenu l'existence d'un contrat de vente et constaté la production, dans la faillite de la vendeuse, d'une créance en dommages-intérêts pour l'inexécution dudit contrat, concluant que le recourant ne pouvait plus réclamer aucune indemnité à la bailleresse, ni exercer un droit d'enlèvement. L'autorité précédente a reconnu à tout le moins le principe du droit à une indemnité.
Pour le surplus, elle a souligné à bon escient que le recourant ne pouvait se prévaloir de l'art. 939 CC dès lors qu'il se trouvait dans un rapport de droit spécial avec l'ayant droit réclamant la restitution (arrêt 5A_88/2011 du 23 septembre 2011 consid. 7.1 et les références citées; cf. aussi <ref-ruling> consid. 3b in fine; 75 II 38 consid. 1).
Dans cette constellation, il n'y a pas matière à revenir sur l'analyse des juges cantonaux selon laquelle le recourant aurait eu en principe le droit de se faire indemniser pour la plus-value de ses aménagements. Or, la possibilité de se faire indemniser exclut l'exercice du jus tollendi (consid. 5.4.2 supra).
Partant, la bailleresse intimée devait effectivement être indemnisée pour l'exercice indu du jus tollendi. Les juges valaisans lui ont alloué 27'956 fr., correspondant aux coût estimés pour réinstaller des aménagements de même qualité que ceux enlevés par le locataire recourant. Ce montant n'est pas discuté et peut dès lors être admis.
Cela étant, il faut opérer une concession en faveur du recourant qui a conclu à la suppression totale de cette indemnité. Il est constant qu'il aurait dû laisser sur place les aménagements effectués; en contrepartie toutefois, la bailleresse aurait dû lui verser une indemnité pour la plus-value apportée. Or, l'autorité précédente a omis de tenir compte de ce dernier élément.
Il sied donc de fixer l'indemnité pour plus-value que l'intimée aurait elle-même dû verser au recourant, opération qui relève de l'appréciation et de l'équité (consid. 5.4.3 supra). Doivent être pris en considération, d'une part, l'importance des travaux accomplis par le recourant sur des locaux initialement à l'état brut et insalubres, dont l'état après rénovation a été jugé excellent ( supra let. A.c in fine) et, d'autre part, le caractère "surfait" de l'investissement effectué par le locataire, l'expert judiciaire lui reprochant d'avoir méconnu les frais nécessaires pour la "mise en état du bâtiment lui-même". Dans ces circonstances, le montant de l'indemnité pour plus-value doit être arrêté équitablement à 20'000 fr. Il s'ensuit, pour la bailleresse, une indemnité réduite à 8'000 fr. (27'956 fr. - 20'000 fr. = 7'956 fr., arrondi au montant précité).
5.6. En résumé, la conclusion visant à supprimer l'indemnité pour l'enlèvement indu des aménagements est partiellement admise. Le recourant doit payer de ce chef un montant de 8'000 fr.
6.
Le recourant prétend également faire supprimer l'indemnité de 15'743 fr. allouée pour les dommages occasionnés aux aménagements restants lorsqu'il a quitté l'appartement.
A l'appui de sa conclusion, il plaide qu'il ne saurait être question de dommages à la chose louée puisqu'au moment où il s'y est installé, elle était insalubre et inhabitable, à l'état d'abandon.
Le recourant méconnaît que les aménagements sont devenus parties intégrantes de la chose louée et qu'il n'était pas autorisé à les emporter à la fin du bail, ni à les endommager, non plus que les éléments déjà en place lorsqu'il est entré dans l'appartement. Vu le caractère étique du grief, l'indemnité allouée ne saurait être rediscutée.
7.
Le recourant conteste enfin devoir verser 12'880 fr. pour la perte locative subie par la bailleresse, après que l'appartement eut été rendu indisponible à la location de par l'enlèvement indu de divers aménagements et les dégâts causés à d'autres laissés sur place.
Pour étayer sa conclusion, le recourant soutient qu'il n'avait pas à réclamer une indemnité à la bailleresse, qu'il était en droit d'opposer par voie d'exception une prétention en indemnité pour les aménagements effectués et que les torts étaient partagés.
En tant qu'elle adopte pour prémisse un droit d'enlever les aménagements effectués, l'argumentation se révèle privée d'assise (consid. 5.5 supra). Au surplus, on ne discerne pas de grief ciblant le raisonnement tenu par l'autorité précédente sur la question topique. En conséquence, l'indemnité litigieuse ne peut qu'être confirmée.
8.
En définitive, le recours doit être partiellement admis en tant qu'il vise la demande principale. Le recourant doit payer une indemnité de 23'743 fr. (et non 43'699 fr.) pour l'enlèvement indu de certains aménagements (8'000 fr., consid. 5.6 supra) et les dommages causés aux éléments restants (15'743 fr., consid. 6 supra). A cela s'ajoute une indemnité de 12'880 fr. pour la perte locative (consid. 7 supra).
L'arrêt attaqué doit ainsi être réformé au chiffre 1 de son dispositif, en ce sens que la demande principale est partiellement admise. A._ versera à B._:
- 23'743 fr., avec intérêts à 5% l'an dès le 1er janvier 2010;
- 12'880 fr., avec intérêts à 5% l'an dès le 15 novembre 2010.
L'arrêt attaqué (ch. 2 et 3 du dispositif) est confirmé pour le surplus.
La cause sera renvoyée à l'autorité précédente pour qu'elle statue à nouveau sur les frais et dépens de la procédure cantonale.
Vu l'issue du recours, deux tiers des frais de la procédure fédérale - ascendant à 4'500 fr. - seront mis à la charge du recourant, et le tiers restant à celle de l'intimée (art. 66 al. 1 LTF). La même clé de répartition sera appliquée aux dépens dus au recourant, arrêtés à 5'500 fr. (art. 68 al. 1 et 2 LTF). Il n'y a pas lieu d'octroyer des dépens à l'intimée qui a fait siens les considérants de l'arrêt cantonal.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis et l'arrêt attaqué (chiffre 1 du dispositif) est réformé en ce sens:
La demande principale est partiellement admise. A._ versera à B._:
- 23'743 fr., avec intérêts à 5% l'an dès le 1er janvier 2010;
- 12'880 fr., avec intérêts à 5% l'an dès le 15 novembre 2010.
L'arrêt attaqué est confirmé pour le surplus.
2.
La cause est renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens de la procédure cantonale.
3.
Les frais judiciaires, arrêtés à 4'500 fr, sont mis à la charge du recourant par 3'000 fr., et à celle de l'intimée par 1'500 fr.
4.
L'intimée versera au recourant une indemnité de 1'800 fr. à titre de dépens réduits.
5.
Le présent arrêt est communiqué au recourant, à l'intimée avec une copie de l'Act. 22 (courrier du 11.11.2020) ainsi qu'au Tribunal cantonal valaisan.
Lausanne, le 11 février 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Juge présidant : Kiss
La Greffière : Monti