Faits :
A.
A.a. Le 3 mars 2016, l'Administration cantonale de l'impôt fédéral direct, respectivement l'Office cantonal du contentieux financier, ont adressé à A._ et à B._ des demandes de sûretés à hauteur de xxxxx fr. (impôts fédéraux et amendes fiscales pour les périodes 2004 à 2011, intérêts en sus), respectivement à concurrence de xxxxx fr. (impôts cantonaux et amendes fiscales pour les périodes 2003 à 2011, intérêts en sus).
Le même jour, les demandes de sûretés, assimilées à des ordonnances de séquestre, ont été remises à l'Office des poursuites et faillites du district de Sierre (ci-après: l'Office) qui les a exécutées (séquestre n° 1 [impôts fédéraux et amendes] et n° 2 [impôts cantonaux et amendes]). Une liste des objets séquestrés a été annexée à chacune de ces ordonnances. Cette liste est divisée en deux rubriques l'une désignée " objets appartenant à M. A._ à séquestrer ", l'autre intitulée " M. A._ ayant droit économique des biens [i.e. comptes bancaires] mentionnés ci-dessous ".
A.b. En exécution des ordonnances de séquestre susmentionnées, l'Office a, les 16 et 8 mars 2016, procédé aux séquestres requis et adressé deux procès-verbaux de séquestre à A._ (n os 1 et 2) et deux autres à B._ (n os 3 et 4).
B.
B.a. Le 21 mars 2016, A._ a déposé une " Dénonciation (art. 22 LP), subsidiairement plainte (art. 17 LP) " à l'encontre des deux procès-verbaux de séquestre auprès du Tribunal du district de Sierre, en sa qualité d'autorité inférieure en matière de plainte LP. Il a conclu à la constatation de la nullité des séquestres frappant les comptes bancaires listés sous la rubrique " M. A._ ayant droit économique des biens mentionnés ci-dessous ", subsidiairement à l'annulation des procès-verbaux de séquestre querellés en tant qu'ils portent sur les actifs bancaires susmentionnés.
B.b. Statuant le 29 mars 2016, le Tribunal de district a rejeté la dénonciation, subsidiairement plainte précitée.
B.c. Contre cette décision, A._ a, le 11 avril 2016, interjeté un recours devant le Tribunal cantonal du canton du Valais, en sa qualité d'autorité supérieure en matière de plainte LP, reprenant les conclusions prises devant l'autorité inférieure de surveillance.
B.d. Dans ses déterminations, l'Office cantonal du contentieux financier a notamment admis " que le recourant ne semble plus contrôler les sociétés C._ SA et D._ SA ".
B.e. Par réplique spontanée du 9 mai 2016, A._, se basant sur lesdites déterminations, a conclu que soit constaté, d'entrée de cause et sans attendre l'issue du recours, la nullité des séquestres frappant les comptes bancaires ouverts au nom des sociétés C._ SA et D._ SA.
B.f. Par décision du 21 septembre 2016, le Tribunal cantonal valaisan a très partiellement admis le recours et a retiré les comptes bancaires ouverts au nom des sociétés C._ SA et D._ SA des listes des biens à séquestrer telles qu'elles sont annexées aux procès-verbaux de séquestre n os 1 et 2 du 16 mars 2016 adressés par l'Office des poursuites et faillites du district de Sierre à A._.
C.
Par acte posté le 3 octobre 2016, A._ exerce un recours en matière civile au Tribunal fédéral contre la décision du 21 septembre 2016. Il conclut à son annulation et, sous réserve des comptes bancaires ouverts au nom des sociétés C._ SA et D._ SA, à sa réforme dans le sens de ses conclusions prises devant l'autorité inférieure de surveillance. Subsidiairement, il sollicite le renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
1.1. Interjeté dans le délai légal de 10 jours (art. 100 al. 2 let. a LTF) - et non de 30 jours comme indiqué à tort au pied de la décision attaquée - et dirigé contre une décision finale (art. 90 LTF) rendue en matière de poursuite pour dettes et de faillite (art. 72 al. 2 let. a LTF) par l'autorité cantonale de surveillance de dernière instance (art. 75 LTF), le recours est en principe recevable, indépendamment de la valeur litigieuse (art. 74 al. 2 let. c LTF). Le recourant a qualité pour recourir (art. 76 LTF).
1.2. Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être lié ni par les moyens des parties ni par les motifs de l'autorité cantonale (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4). Cependant, vu l'exigence de motivation contenue à l'art. 42 LTF, il s'en tient en principe aux questions juridiques que la partie recourante soulève dans la motivation du recours; il n'est pas tenu de traiter, à l'instar d'une juridiction de première instance, toutes les questions juridiques pouvant se poser, lorsqu'elles ne sont plus discutées devant lui (<ref-ruling> consid. 2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 1.4). La partie recourante doit par conséquent critiquer les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2).
1.3. Saisi d'un recours en matière civile, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF).
2.
Selon l'art. 170 al. 1 1ère phr. de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 (LIFD, RS 642.11), la demande de sûretés, que l'administration cantonale de l'impôt fédéral direct peut exiger en tout temps si le contribuable n'a pas de domicile en Suisse ou que les droits du fisc paraissent menacés (cf. art. 169 LIFD), est assimilée à l'ordonnance de séquestre au sens de l'art. 274 LP. L'autorité compétente pour prononcer le séquestre fiscal n'est pas le juge mais l'autorité fiscale, indépendamment du lieu de situation des objets à séquestrer. L'office des poursuites est chargé d'exécuter l'ordonnance de séquestre selon les règles de la LP (cf. art. 170 al. 1 2ème phr. LIFD et 78 2ème phr. LHID; art. 275 ss et 91 ss LP). L'opposition au séquestre (art. 278 LP) n'est pas recevable (cf. art. 170 al. 2 LIFD et 78 3ème phr. LHID). En revanche, le débiteur peut recourir contre la décision de sûretés selon les voies de recours ordinaires (art. 169 al. 3 LIFD); la plainte auprès de l'autorité de surveillance (art. 17 LP) est par ailleurs ouverte contre l'exécution du séquestre (arrêt 5A_150/2015 du 4 juin 2015 consid. 5.2.3, publié in SJ 2016 I 138).
Les art. 169 et 170 de la loi fiscale du canton du Valais du 10 mars 1976 (LF, RS/VS 642.1) ont un contenu identique à celui des art. 169 et 170 LIFD.
3.
Le recourant reproche à l'autorité cantonale d'avoir admis qu'il soit donné suite aux ordonnances de séquestre en tant qu'elles portent sur des comptes dont il est indiqué qu'il en est l'ayant droit économique. En effet, par cette indication, l'administration fiscale avait admis qu'il n'en était ni titulaire ni propriétaire. Or, dans un tel cas, soit lorsque, de l'aveu même du créancier, la propriété des comptes bancaires n'est pas litigieuse, l'exécution du séquestre est nulle. Sauf à violer les art. 272, 274, 275 et 22 LP, l'autorité précédente aurait dû constater " (i) l'absence alléguée par le séquestrant lui-même de tout droit de propriété du débiteur sur les actifs litigieux et (ii) par voie de conséquence la nullité des séquestres en tant qu'ils portent sur ces actifs ".
3.1. En matière de séquestre, il convient de distinguer les compétences de l'autorité de surveillance de celles du juge de l'opposition.
Selon la jurisprudence, l'ordonnance de séquestre est rendue sur la base de la seule requête du créancier (art. 272 LP). Elle doit être entreprise par la voie de l'opposition (art. 278 al. 1 LP), dont le but est de permettre au juge de vérifier le bien-fondé du séquestre après avoir entendu le débiteur. De son côté, l'office des poursuites exécute l'ordonnance de séquestre (art. 275 LP). Sa décision doit être entreprise par la voie de la plainte (art. 17 LP) auprès de l'autorité de surveillance.
Les griefs concernant les conditions de fond du séquestre doivent donc être soulevés dans la procédure d'opposition et ceux concernant l'exécution du séquestre dans la procédure de plainte. Plus singulièrement, les compétences des offices et des autorités de poursuite portent notamment, en vertu du renvoi de l'art. 275 LP, sur les mesures proprement dites d'exécution, soit celles concernant la saisissabilité des biens (art. 92 ss LP), l'ordre de la saisie (art. 95 ss LP), la sauvegarde des biens saisis (art. 98 ss LP) et la procédure de revendication (art. 106 ss LP). Elles visent aussi le contrôle de la régularité formelle de l'ordonnance de séquestre. A cet égard, l'office vérifiera que toutes les mentions prescrites par l'art. 274 al. 2 ch. 1 à 4 LP figurent dans l'ordonnance ou encore que la désignation des biens y soit suffisamment précise pour permettre une exécution sans risque de confusion ou d'équivoque. Ce pouvoir d'examen entre par définition dans les attributions d'un organe d'exécution qui ne peut donner suite à un ordre lacunaire, imprécis ou entaché d'un défaut qui le rend inopérant, ni exécuter un séquestre nul (<ref-ruling> consid. 2.1 et les références).
En matière fiscale, les compétences du juge de l'opposition appartiennent à l'autorité de recours ( supra consid. 2; cf. arrêts 2C_468/2011 du 22 décembre 2011 consid. 2; 2A.611/2006 et 2A.612/2006 du 18 avril 2007 consid. 4; 2A.446/2006 du 9 mars 2007 consid. 5).
3.2.
3.2.1. Le séquestre ne peut être ordonné que si les biens à séquestrer appartiennent effectivement au débiteur (art. 272 al. 1 ch. 3 LP). Celui-ci ne répond en principe de ses obligations que sur les biens qui lui appartiennent. Lors de l'adoption de l'art. 272 al. 1 ch. 3 LP, le législateur a cependant voulu que, comme sous l'empire de l'ancien droit, le créancier puisse aussi faire séquestrer des biens au nom ou en possession d'un tiers, s'il rend vraisemblable que ces biens appartiennent en réalité au débiteur. Le séquestre est une mesure conservatoire urgente, qui a pour but d'éviter que le débiteur ne dispose de ses biens pour les soustraire à la poursuite pendante ou future de son créancier (arrêt 5A_483/2008 du 29 août 2008 consid. 5.1 et les références). Dans la mesure où le créancier rend vraisemblable que des biens formellement au nom de tiers appartiennent au débiteur, le séquestre peut ainsi aussi porter sur les biens dont celui-ci est l'ayant droit économique (<ref-ruling> consid. 2.2.3 et la référence à l'<ref-ruling>).
La question de savoir si le créancier a réussi à rendre vraisemblable que certaines valeurs appartenaient au débiteur malgré l'apparence formelle relève de la compétence du juge du séquestre, respectivement du juge de l'opposition (<ref-ruling> consid. 2.2.4 et les références). Lorsque la voie de l'opposition est exclue, comme c'est le cas en matière fiscale, la compétence revient à l'autorité de recours désignée par les lois fiscales applicables (soit en l'occurrence la Commission cantonale de recours en matière d'impôt [art. 169 al. 3 LIFD et 169 al. 3 LF]; cf. supra consid. 2 et 3.1). Il n'appartient donc ni à l'office ni aux autorités de surveillance de se prononcer sur la propriété des biens ou la titularité des créances. Si le juge a admis le séquestre et qu'il le confirme sur opposition en se fondant sur le fait que les biens appartiennent vraisemblablement au débiteur, le tiers devra faire valoir ses droits dans la procédure de revendication (art. 106-109 LP; arrêt 5A_483/2008 précité consid. 5.3).
3.2.2. Pour obtenir le séquestre, le créancier doit ainsi rendre vraisemblable que des biens formellement au nom de tiers appartiennent au débiteur, soit fournir les noms des tiers qui paraissent être nominalement les ayants droit des biens à séquestrer ou, à défaut, d'autres éléments susceptibles de rendre vraisemblable qu'il s'agit de biens du débiteur au nom de tiers (cf. supra consid. 3.2.1; <ref-ruling> consid. 4a; GILLIÉRON, Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, 2003, n° 56 ad art. 272 LP et les arrêts cités). L'ordonnance de séquestre est ainsi inexécutable lorsqu'elle n'indique pas les noms des tiers auxquels doivent appartenir à titre simplement formel des biens du débiteur (<ref-ruling> consid. 2.2.1, 2.2.3 et 2.2.4; CHARLES JAQUES, La saisie et le séquestre des droits patrimoniaux dont le débiteur est l'ayant droit économique, in ZZZ 2005 p. 307 ss, 346). En revanche, l'office des poursuites est tenu d'obtempérer à une ordonnance de séquestre régulière en la forme et n'a pas la compétence d'en examiner le bien-fondé, notamment de vérifier les conditions justifiant l'octroi de la mesure (cf. supra consid. 3.1 et 3.2.1). Cependant, il peut refuser son concours à l'exécution de celle-ci lorsque la mise sous main de justice des biens visés se heurte à une cause de nullité au sens de l'art. 22 al. 1 LP (cf. supra consid. 3.1; arrêts 5A_615/2014 du 11 décembre 2014 consid. 3.1, publié in SJ 2015 I 133; 5A_883/2012 du 18 janvier 2013 consid. 6.1.2). L'exécution du séquestre ne doit cependant être refusée que dans les cas où l'ordonnance de séquestre apparaît indubitablement nulle, notamment lorsqu'elle viole manifestement le droit international public relatif aux immunités et que l'on ne saurait exiger du plaignant qu'il agisse par la voie de l'opposition selon l'art. 278 LP (<ref-ruling> consid. 3 et 4.2.2; arrêt 5A_883/2012 précité).
3.3. En l'espèce, la motivation de l'autorité cantonale est en tous points conforme aux principes susrappelés, de sorte que l'on peut s'y référer. C'est ainsi sans violer le droit fédéral que le juge précédent a retenu que les griefs du recourant concernant la propriété des comptes bancaires litigieux devaient être examinés par l'autorité de recours administrative compétente et non par l'autorité de surveillance des offices des poursuites et des faillites. De même, c'est à bon droit qu'il a constaté que les indications relatives aux comptes litigieux étaient suffisantes en tant qu'elles précisaient notamment le nom des banques, leur adresse, les numéros des relations bancaires concernées, ainsi que le fait que ces dernières étaient au nom de sociétés tierces avec la mention de la qualité d'ayant droit économique du débiteur sur ces biens et que, partant, les ordonnances de séquestre étaient parfaitement exécutables. Il ne saurait donc être question en l'espèce d'une éventuelle nullité entachant lesdites ordonnances, dès lors qu'il n'est pas manifeste que celles-ci soient nulles et qu'il peut raisonnablement être exigé du débiteur poursuivi qu'il agisse par la voie de l'opposition, respectivement en l'occurrence du recours à la Commission cantonale de recours en matière d'impôt, pour faire valoir ses griefs.
En réalité, l'argument du recourant se fonde, sans qu'il le cite, sur un <ref-ruling>, qui n'est plus d'actualité depuis l'entrée en vigueur de la révision de la LP de 1994. Sous l'ancien droit, l'office devait, aux termes de cette jurisprudence, refuser d'exécuter l'ordonnance de séquestre lorsque celle-ci visait des biens qui, au dire même du créancier ou de toute évidence, n'appartenaient pas au débiteur ou pas à lui seul. Depuis la révision, cette question relève de la compétence du juge de l'opposition, respectivement, en matière fiscale, de l'autorité de recours contre la décision de sûretés valant ordonnance de séquestre (cf. STOFFEL/CHABLOZ, Voies d'exécution, 3ème éd. 2016, n° 128 p. 272; OCHSNER, Exécution du séquestre, in JT 2006 II p. 77 ss, 88).
4.
En définitive, le recours doit être rejeté, aux frais de son auteur (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à l'Office des poursuites et faillites de Sierre et au Tribunal cantonal du canton du Valais, Juge unique de l'Autorité supérieure en matière de plainte LP.
Lausanne, le 20 décembre 2016
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Hildbrand