Faits :
A.
A._ est propriétaire de la parcelle n° xxx de la commune de B._. Cette dernière est classée en zone non affectée au sens de l'art. 103 du règlement communal des constructions approuvé par le Conseil d'Etat du canton du Valais le 28 septembre 1994 (ci-après: le RCC).
Le 12 août 1980, la Commission cantonale des constructions (ci-après: la CCC ou la commission) a autorisé le père de l'intéressé, alors propriétaire de la parcelle précitée, à y reconstruire un bâtiment incendié en novembre 1978.
Le 1 er juillet 1991, la commune de B._ a délivré à A._ un permis de construire portant sur l'aménagement, à l'est de la construction existante, d'un garage semi-enterré avec remise à outils à l'étage.
B.
En 2012, dans le cadre d'une mutation de la parcelle n° xxx, la CCC a été informée de la présence de constructions irrégulières sur ce fonds. A la suite d'une visite des lieux, en présence du propriétaire, la commission a constaté que plusieurs ouvrages avaient été édifiés sans autorisation, à savoir notamment un couvert à voitures ainsi qu'une importante véranda au-dessus du local à outils autorisé en 1991. Ce local et la véranda ont par ailleurs été transformés en un appartement en duplex. Enfin, la moitié nord de la parcelle comporte divers aménagements extérieurs également réalisés sans autorisation (cheminement en dallage de pierres, murets, plates-bandes, plantations de haies, etc.).
Par ordre de remise en état du 21 juin 2012, la commission a ordonné la suppression de ces aménagements; elle a également enjoint à A._ de procéder à la revégétalisation naturelle du sol ou à une mise en culture adéquate.
Le 20 mars 2014, le Conseil d'Etat a confirmé cet ordre de démolition, après avoir également procédé à une inspection locale. A._ a recouru contre cette décision devant la Cour de droit public du Tribunal cantonal du Valais. A titre de mesure d'instruction, l'intéressé sollicitait notamment la production de l'ensemble des dossiers constitués au sujet des constructions sises dans la périphérie de sa parcelle (aux lieux-dits "C._" et "D._"). Par arrêt du 10 octobre 2014, le Tribunal cantonal a refusé cet acte d'instruction et a rejeté le recours. Il a en substance considéré que l'intérêt public au rétablissement d'une situation conforme au droit primait les intérêts privés de l'intéressé et que l'ordre de démolition respectait les principes de proportionnalité et d'égalité de traitement.
C.
Agissant par la voie du recours en matière de droit public, subsidiairement par celle du recours constitutionnel subsidiaire, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal. Il demande en outre à être dispensé de l'avance de frais judiciaires.
Le Tribunal cantonal a renoncé à se déterminer. Le Conseil d'Etat ainsi que la commune de B._ concluent au rejet du recours. A titre d'observations, le recourant a déposé une copie d'un courrier adressé à son mandataire.
Considérant en droit :
1.
1.1. Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (art. 82 let. a LTF), le recours de droit public est en principe recevable, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Le recourant a pris part à la procédure de recours devant le Tribunal cantonal. En tant que propriétaire des constructions litigieuses et destinataire de l'ordre de remise en état, il est particulièrement touché par l'arrêt attaqué et peut ainsi se prévaloir d'un intérêt digne de protection à son annulation. Il a donc qualité pour agir au sens de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité du recours en matière de droit public sont réunies, si bien qu'il y a lieu d'entrer en matière.
1.2. Incidemment, le recourant conclut à la recevabilité de son recours constitutionnel. Son mémoire ne contient toutefois aucun développement à cet égard. Quoi qu'il en soit, la recevabilité du recours en matière de droit public entraîne l'irrecevabilité du recours constitutionnel subsidiaire (art. 113 LTF).
2.
A titre de mesure d'instruction, le recourant sollicite l'édition par la commune des "dossiers des constructions voisines [à sa parcelle] n'ayant pas obtenu une autorisation au sens de l'art. 24 de la loi fédérale sur l'aménagement du territoire du 22 juin 1979 [LAT; RS 700]". Cette réquisition n'a toutefois pas de portée propre; elle se confond avec le grief de violation du droit d'être entendu, qui sera traité ci-dessous, de sorte qu'il n'y a pas lieu d'y donner suite.
3.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant dénonce une violation de son droit d'être entendu. En divers passages de son mémoire, il reproche au Tribunal cantonal d'avoir rejeté sa réquisition de preuve tendant à la production de l'intégralité "des dossiers d'autorisation de construire des maisons construites" aux lieux-dits "C._" et "D._". Il prétend pouvoir en déduire que l'ordre de démolition prononcé à son encontre violerait le principe d'égalité de traitement (en particulier l'égalité dans l'illégalité; cf. consid. 5 ci-dessous).
3.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF 133 I 270 consid. 3.1 p. 277; 126 I 15 consid. 2a/aa p. 16; 124 I 49 consid. 3a p. 51). Le juge peut cependant renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole leur droit d'être entendues que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (ATF 131 I 153 consid. 3 p. 157 et les arrêts cités; sur la notion d'arbitraire, voir ATF 132 I 13 consid. 5.1 p. 17). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 137 I 58 consid. 4.1.2 p. 62).
3.2. En l'espèce, la cour cantonale a considéré que le recourant n'avançait aucun élément concret démontrant qu'il était victime d'une violation du principe d'égalité. Refusant de donner suite à sa réquisition de preuve, le Tribunal cantonal a estimé que cette dernière revêtait un caractère général ne laissant pas supposer l'existence de situations particulières comparables à celle du recourant et bénéficiant de l'assentiment de la commission. Cette problématique ayant déjà été soulevée devant le Conseil d'Etat, rien n'empêchait le recourant de préciser sa requête et d'identifier, le cas échéant, les parcelles concernées. Dans ses observations, la commune précise à cet égard qu'une centaine de dossiers sont concernés par cette demande.
Devant le Tribunal fédéral, le recourant ne fournit pas plus de précisions et se borne, de manière appellatoire, à affirmer que le refus de production de l'ensemble de ces dossiers serait constitutif d'une violation de son droit d'être entendu. Il ne développe à cet égard aucune motivation; il ne prétend en particulier pas que l'instance précédente aurait violé le droit cantonal de procédure en écartant son offre de preuve (cf. à ce propos arrêt 1C_915/2013 du 6 octobre 2014 consid. 4.1 et les références) ni ne démontre que, ce faisant, elle aurait versé dans l'arbitraire. Faute de répondre aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF, ces critiques sont irrecevables.
En tout état de cause, il n'apparaît pas arbitraire d'exiger du recourant, qui invoque une inégalité de traitement, qu'il précise sa requête en identifiant les dossiers dont il requiert la production. En effet, au regard du devoir de collaboration des parties à l'établissement des faits, applicable en procédure administrative, le recourant ne pouvait se contenter d'une réquisition formulée en termes vagues et généraux (cf. ATF 128 II 139 consid. 2b p. 142; arrêt 2C_118/2009 du 15 septembre 2009 consid. 4.2 et les références). Dans ces circonstances, à défaut d'élément tangible laissant craindre l'existence de situations illicites, la cour cantonale pouvait, sans que cela ne soit critiquable, par une appréciation anticipée des preuves, rejeter la requête du recourant. Cela est d'autant plus vrai que l'une des conditions d'application du principe d'égalité dans l'illégalité, en l'occurrence la volonté de l'autorité de perpétuer une pratique illégale n'est en l'espèce pas réalisée (cf. consid. 5 ci-dessous); l'offre de preuve du recourant s'avère ainsi irrelevante.
Mal fondé, ce grief doit être rejeté dans la mesure de sa recevabilité.
4.
Le recourant ne conteste pas le caractère illicite des constructions litigieuses ni n'affirme que ces dernières pourraient être régularisées. Il estime en revanche que l'ordre de remise en état des lieux violerait le principe de proportionnalité et se prévaut à cet égard d'un dommage considérable que lui occasionnerait l'exécution de cette décision.
4.1. Selon la jurisprudence, l'ordre de démolir une construction édifiée sans droit et pour laquelle une autorisation ne pouvait être accordée n'est en soi pas contraire au principe de la proportionnalité. L'autorité renonce toutefois à ordonner une telle mesure si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (ATF 132 II 21 consid. 6 p. 35; 123 II 248 consid. 3a/bb p. 252; 111 Ib 213 consid. 6b p. 224 s.; 102 Ib 64 consid. 4 p. 69). Même un constructeur qui n'est pas de bonne foi peut invoquer le principe de proportionnalité. Toutefois, celui qui place l'autorité devant un fait accompli doit s'attendre à ce qu'elle se préoccupe plus de rétablir une situation conforme au droit que d'éviter les inconvénients qui en découlent pour lui (ATF 123 II 248 consid. 4a p. 255; 111 Ib 213 consid. 6b p. 224 et la jurisprudence citée).
4.2. La cour cantonale a retenu, sans que cela ne soit contesté, que les constructions litigieuses auraient nécessité une autorisation dérogatoire au sens de l'art. 24 LAT, la parcelle en cause étant colloquée en zone non affectée, au sens de l'art. 103 RCC (cf. Zen-Ruffinen/ Ecabert, Aménagement du territoire, construction, expropriation, Berne 2001, n. 386 p. 174). Elle a par ailleurs considéré que ces travaux, au regard de leur nature et de leur ampleur (création d'un étage supplémentaire, d'une véranda, d'un couvert à véhicules et la réalisation d'aménagements extérieurs importants), portaient une atteinte grave au principe essentiel de la séparation du territoire bâti et non bâti. Le Tribunal cantonal a jugé que l'intérêt public au respect de ce principe fondamental devait l'emporter sur l'intérêt privé purement économique allégué par le recourant.
Pas plus qu'à l'échelon cantonal, le grief du recourant n'est étayé. Celui-ci se limite à affirmer que le "coût extraordinaire" de la remise en état résulterait de la nature même des aménagements, dont attesteraient les photographies versées au dossier, et reproche implicitement au Tribunal cantonal de l'avoir ignoré. Il ne fournit toutefois aucune explication complémentaire à ce sujet et reconnaît, par ailleurs, n'avoir pas chiffré ce coût en procédure; sur le plan purement économique, son grief apparaît ainsi insuffisamment motivé, ce qui conduit à son irrecevabilité (cf. art. 42 al. 2 LTF).
Le recourant soutient encore que l'ordre de démolition eût été admissible au regard du principe de proportionnalité s'il était intervenu avant l'échéance du délai de prescription décennale prévu par l'art. art. 51 al. 5 de la loi cantonale sur les constructions du 8 février 1996 (LC; RS/VS 705.1). Cette disposition prévoit que, dix ans après le jour où l'état de fait contraire au droit était reconnaissable, la remise en état des lieux ne peut être exigée que si elle est commandée par des intérêts publics impératifs. Le recourant critique ainsi implicitement la pesée des intérêts opérée par l'instance précédente et, à le comprendre, l'application de la disposition cantonale précitée. Ce faisant, il perd toutefois de vue que les règles relatives à la séparation entre les zones bâties et non bâties répondent à une préoccupation centrale de l'aménagement du territoire et que l'intérêt public sur lequel elles sont fondées ne peut qu'être qualifié d'important (cf. ATF 129 II 369 consid. 4.2.1 p. 398; 115 Ib 148 consid. 5c p. 151; arrêt 1C_101/2011 du 26 octobre 2011 consid. 2.4). L'intérêt purement économique du recourant - au demeurant insuffisamment motivé - ne saurait dès lors avoir le pas sur l'intérêt public au rétablissement d'une situation conforme au droit. Par ailleurs, on ne discerne pas que l'autorité précédente aurait versé dans l'arbitraire en considérant, au regard de l'importance de l'intérêt public en cause, que la prescription de dix ans prévue par l'art. 51 al. 5 LC n'était pas applicable en l'espèce (au sujet de l'application arbitraire du droit cantonal, cf. p. ex. ATF 138 I 232 consid. 6.2 p. 239 et les arrêts cités). Enfin, en plaçant l'autorité devant le fait accompli par l'édification sans droit de nombreux aménagements, le recourant devait s'attendre à ce que celle-ci favorise le rétablissement d'une situation conforme.
4.3. En définitive, la mesure ordonnée apparaît proportionnée à son but, de sorte que ce grief doit être rejeté.
5.
Le recourant reproche au Tribunal cantonal une violation du principe de l'égalité dans l'illégalité. Il affirme qu'aucune procédure de remise en état n'aurait été introduite à l'encontre des constructions non autorisées sises aux lieux-dits "C._" et "D._", ce qui démontrerait, selon lui, que la CCC et la commune entendent persévérer dans leur pratique illégale, pratique au bénéfice de laquelle il prétend devoir être mis.
5.1. Le principe de la légalité de l'activité administrative prévaut en principe sur celui de l'égalité de traitement. En conséquence, le justiciable ne peut généralement pas se prétendre victime d'une inégalité devant la loi lorsque celle-ci est correctement appliquée à son cas, alors qu'elle aurait été faussement, voire pas appliquée du tout, dans d'autres cas (ATF 126 V 390 consid. 6a p. 392 et les références citées). Cela présuppose cependant, de la part de l'autorité dont la décision est attaquée, la volonté d'appliquer correctement à l'avenir les dispositions légales en question. Le citoyen ne peut prétendre à l'égalité dans l'illégalité que s'il y a lieu de prévoir que l'administration persévérera dans l'inobservation de la loi (ATF 136 I 65 consid. 5.6 p. 78 et les références). Il faut encore que l'autorité n'ait pas respecté la loi selon une pratique constante, et non pas dans un ou quelques cas isolés (ATF 132 II 485 consid. 8.6 p. 510; 127 I 1 consid. 3a p. 2; 126 V 390 consid. 6a p. 392 et les arrêts cités), et qu'aucun intérêt public ou privé prépondérant n'impose de donner la préférence au respect de la légalité (ATF 123 II 248 consid. 3c p. 254; 115 Ia 81 consid. 2 p. 83 et les références).
5.2. En partant du postulat que le voisinage de sa propriété renferme des constructions illicites, le recourant ne critique pas l'application du principe d'égalité, mais remet indirectement en cause l'établissement des faits (cf. art. 105 al. 2 LTF). Son argumentation, de nature purement appellatoire, ne répond toutefois pas aux exigences de motivation prévues par les art. 42 al. 2 et 106 al. 2 LTF (cf. ATF 137 II 353 consid. 5.1 p. 356; 136 II 101 consid. 3 p. 104 et les arrêts cités); elle ne démontre en particulier pas que la cour cantonale aurait versé dans l'arbitraire en retenant que rien ne laissait supposer que d'autres constructions illicites auraient, dans le secteur considéré, bénéficié de l'assentiment de la commission. Il n'y a dès lors pas lieu de s'écarter de ces constatations. Il en découle que la question du maintien d'une pratique illégale, soulevée par le recourant, devient sans objet.
Quoi qu'il en soit, à teneur du dossier, on doit avec la cour cantonale, admettre que rien ne permet d'affirmer que les autorités compétentes entendent, à l'avenir, faire preuve de tolérance à l'égard de cas semblables; dans ses observations, la commune indique d'ailleurs à cet égard que les situations illégales, objets de sa compétence, sont immédiatement sanctionnées par des procédure de remise en état.
Dans ces circonstances, le grief tiré d'une violation du principe d'égalité de traitement s'avère mal fondé.
6.
Dans un ultime grief intitulé "exécution des obligations", le recourant se limite à prendre acte d'un passage de l'arrêt attaqué et affirme qu'il s'en prévaudra dans l'hypothèse où une mesure effective de destruction devait être ordonnée par l'autorité communale. Ce faisant, le recourant ne critique manifestement pas l'arrêt entrepris; son grief est irrecevable (cf. art. 42 al. 2 LTF).
7.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure de sa recevabilité. Le recours au Tribunal fédéral était d'emblée voué à l'échec, de sorte que l'assistance judiciaire requise en relation avec la présente procédure doit être refusée (art. 64 al. 1 LTF). Les frais judiciaires seront donc mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Ils seront toutefois réduits en tenant compte de sa situation financière difficile (art. 65 al. 2 et 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
3.
La demande d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 francs, sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, à la Commune de B._, au Conseil d'Etat du canton du Valais et au Tribunal cantonal du canton du Valais, Cour de droit public.
Lausanne, le 1 er avril 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
Le Greffier : Alvarez