Faits :
A.
A.a. Le 7 juillet 2021, B._ SA a adressé au Tribunal du district de Monthey (ci-après: le tribunal) une requête de faillite contre A._. Elle a produit notamment le commandement de payer du 18 avril 2020 et la commination de faillite du 16 avril 2021, notifiée personnellement le 26 avril 2021 au poursuivi, dans la poursuite n°xxxxxxx de l'Office des poursuites et faillites du district de Monthey.
Les indications portées sur le commandement de payer au sujet de sa notification sont contradictoires; elles font état, d'une part, d'une remise au destinataire le 13 mai 2020 et, d'autre part, d'une absence de notification faute d'avoir été réclamé.
A.b. Le 8 juillet 2021, les parties ont été citées à comparaître à l'audience de faillite du 13 août 2021. A l'issue de dite audience, la juge suppléante du tribunal a prononcé la faillite de A._, le jour même, à 8h45. La décision a été communiquée le 19 août 2021 sous forme d'un dispositif écrit, puis en expédition complète le 31 août 2021.
A.c. Par décision du 5 octobre 2021, l'Autorité de recours en matière de poursuite et faillite du Tribunal cantonal du Valais a rejeté le recours formé par A._ et déclaré sans objet la requête d'effet suspensif l'assortissant.
B.
Par acte posté le 5 novembre 2021, A._ exerce un recours en matière civile contre la décision du 5 octobre 2021. Il conclut à sa réforme en ce sens que sa faillite n'est pas prononcée, respectivement est annulée ou révoquée et qu'il est constaté, au besoin, la nullité de la poursuite précitée. Subsidiairement, il sollicite le renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
Des déterminations sur le fond n'ont pas été requises.
C.
Par ordonnance présidentielle du 6 décembre 2021, la requête d'effet suspensif assortissant le recours a été admise en ce sens que le prononcé de la faillite reste en force mais qu'aucun acte d'exécution de la décision attaquée ne doit être entrepris, les éventuelles mesures conservatoires déjà prises par l'office en vertu des art. 162 ss, 170, 174 al. 3 et 221 ss LP demeurant toutefois en vigueur.

Considérant en droit :
1.
Le recours a été déposé à temps (<ref-law>) contre une décision finale (<ref-law>; <ref-ruling> consid. 1.2) qui confirme, en dernière instance cantonale et sur recours (art. 75 al. 1 et 2 LTF), la faillite du recourant (<ref-law>). Il est ouvert quelle que soit la valeur litigieuse (art. 74 al. 2 let. d LTF). Le recourant, qui a pris part à la procédure devant la juridiction précédente et a un intérêt digne de protection à l'annulation ou la modification de la décision attaquée, a qualité pour recourir (<ref-law>).
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2.4 et la référence; <ref-ruling> consid. 1.7.1). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", <ref-law>; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.2; <ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Conformément au principe d'allégation évoqué ci-dessus (cf. supra consid. 2.1), le recourant qui entend contester les faits retenus par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.1.2 et les références).
3.
Invoquant une constatation manifestement inexacte des faits, la violation de son droit d'être entendu ainsi qu'un déni de justice, le recourant reproche à l'autorité cantonale de ne pas avoir retenu que la poursuite engagée à son encontre était absolument nulle vu l'absence de notification du commandement de payer. Il rappelle que du 4 janvier au 3 octobre 2020, il était en détention en France, comme la pièce 4 déposée à l'appui de son recours cantonal le démontrait. L'autorité cantonale avait négligé de relever la mention " non réclamé " sous la rubrique " non notifiable " du commandement de payer et omis de rapprocher cet élément de la preuve de sa détention. Si elle l'avait fait, elle aurait dû conclure à une absence totale de notification du commandement de payer. L'autre hypothèse figurant sur le commandement de payer, à savoir une notification le 3 juin 2020 [recte: 13 mai 2020], était aussi impossible du fait de sa détention.
En l'occurrence, on ne saurait reprocher un quelconque déni de justice à l'autorité cantonale dans la mesure où elle a traité du grief tiré de la nullité de la poursuite soulevé devant elle et a indiqué clairement les raisons qui ont conduit à son rejet. Par ailleurs, le grief de violation du droit d'être entendu que le recourant invoque pour se plaindre du fait qu'il n'a pas été donné suite à ses offres de preuve manque sa cible, dès lors qu'il apparaît que l'autorité cantonale a refusé d'ordonner les mesures probatoires requises au terme d'une appréciation anticipée des preuves. Or, dans une telle hypothèse, il convient d'invoquer l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves, en motivant le grief conformément aux exigences plus strictes de l'<ref-law> (<ref-ruling> consid. 5.2.2; <ref-ruling> consid. 4.3.2), ce que le recourant n'a en l'occurrence pas fait.
3.1. Le juge de la faillite peut rejeter la réquisition s'il existe un motif manifeste de nullité au sens de l'<ref-law> qui puisse être établi prima facie (<ref-ruling> consid. 5.4 i.f.; PIERRE-YVES BOSSHARD, Le recours contre le jugement de faillite, in JdT 2010 II 113 ss, p. 121 et les références; ROGER GIROUD/FABIANA THEUS SIMONI, in Basler Kommentar, SchKG I, 3ème éd. 2021, n° 6a ad <ref-law> et les références). Si le motif de nullité n'est pas d'emblée évident, le juge de la faillite ajournera sa décision sur la réquisition de faillite et soumettra le cas à l'autorité de surveillance (<ref-law>; GIROUD/THEUS SIMONI, op. cit., n° 6 ad <ref-law> et les références).
3.2. En l'espèce, c'est à bon droit que l'autorité cantonale n'a pas constaté l'existence d'un cas de nullité de la poursuite qui, manifeste, aurait pu conduire au rejet de la requête de faillite ou, en cas de doute, à l'ajournement du prononcé de faillite jusqu'à droit jugé par l'autorité de surveillance. En effet, comme la décision attaquée le rappelle fort justement, lorsque l'acte de poursuite qui doit être notifié parvient au poursuivi ou que celui-ci a une connaissance effective et exacte de son contenu, l'irrégularité de la notification n'entraîne ni la nullité de la notification, en tant qu'acte de poursuite, ni la nullité de l'acte de poursuite (commandement de payer ou commination de faillite) dont la notification est viciée. La notification irrégulière est alors seulement annulable sur plainte et le vice est couvert par l'inaction du poursuivi (PIERRE-ROBERT GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, 1999, n° 28 des remarques introductives aux art. 64-66 LP; YVAN JEANNERET/SAVERIO LEMBO, Commentaire romand, Poursuite et faillite, 2005, n° s 34 et 35 ad <ref-law> et les références). Or l'autorité cantonale a constaté - sans que ce constat soit remis en cause - que le recourant a eu une connaissance effective et exacte du commandement de payer établi dans la poursuite litigieuse lorsqu'il a reçu le 26 avril 2021 la commination de faillite, laquelle énonçait les indications prescrites pour la réquisition de poursuite, à savoir l'identité de la créancière et du poursuivi, le montant de la créance, les titre et date de celle-ci ou cause de l'obligation (<ref-law>), soit les indications essentielles du commandement de payer (<ref-law>). Comme l'a correctement retenu l'autorité cantonale, le vice éventuel lié à la notification du commandement de payer a donc été couvert par l'inaction du recourant, dès lors qu'aucune plainte LP n'a été formée dans les dix jours dès la connaissance effective du contenu du commandement de payer (cf. <ref-ruling> consid. 2), soit dès la réception de la commination de faillite (arrêt 7B.161/2005 du 31 octobre 2005 consid. 2.2; cf. PAUL ANGST/RODRIGO RODRIGUEZ, in Basler Kommentar, SchKG I, 3ème éd. 2021, n° 23 ad <ref-law> et les références).
4.
Si tant est qu'il soit même pertinent au vu de ce qui précède, le second moyen que le recourant entend nouvellement tirer d'une violation de l'<ref-law> se heurte au principe de l'épuisement matériel des instances (<ref-law>; <ref-ruling> consid. 3.3.4; <ref-ruling> consid. 2.2.2; <ref-ruling> consid. 1.1). Il sera, quoi qu'il en soit, rappelé que, contrairement à ce que prétend le recourant, les principes susrappelés (cf. supra consid. 3.2) sont également applicables en cas de notification non conforme à l'<ref-law> du commandement de payer à un détenu, de sorte que les actes de poursuite effectués sans respecter cette disposition doivent être considérés seulement comme annulables (arrêt 5A_913/2013 du 19 mars 2014 consid. 4.1; JEAN-DANIEL SCHMID/THOMAS BAUER, in Basler Kommentar, SchKG I, 3ème éd. 2021, n° 10 ad <ref-law>).
5.
En définitive, le recours est rejeté dans la mesure de sa recevabilité, aux frais de son auteur (<ref-law>). L'intimée, qui n'a pas été suivie sur la question de l'effet suspensif, n'a pas été invitée à répondre sur le fond et agit par son service du contentieux, n'a pas droit à des dépens (<ref-law>).
L'octroi de l'effet suspensif ne se rapporte qu'aux mesures d'exécution, ce qui dispense de fixer à nouveau la date de l'ouverture de la faillite (parmi plusieurs: arrêt 5A_260/2021 du 22 juin 2021 consid. 5 et la référence).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton du Valais, Autorité de recours en matière de poursuite et faillite, à l'Office des poursuites et des faillites du district de Monthey, au Registre du commerce de St-Maurice et à l'Office du registre foncier du VIe arrondissement.
Lausanne, le 19 janvier 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Feinberg