Faits : A. A.a. Le 3 mars 2016, l'Administration cantonale de l'impôt fédéral direct, respectivement l'Office cantonal du contentieux financier, ont adressé à A._ et à B._ des demandes de sûretés à hauteur de xxxxx fr. (impôts fédéraux et amendes fiscales pour les périodes 2004 à 2011, intérêts en sus), respectivement à concurrence de xxxxx fr. (impôts cantonaux et amendes fiscales pour les périodes 2003 à 2011, intérêts en sus). Le même jour, les demandes de sûretés, assimilées à des ordonnances de séquestre, ont été remises à l'Office des poursuites et faillites du district de Sierre (ci-après: l'Office) qui les a exécutées (séquestre n° 1 [impôts fédéraux et amendes] et n° 2 [impôts cantonaux et amendes]). Une liste des objets séquestrés a été annexée à chacune de ces ordonnances. Cette liste est divisée en deux rubriques l'une désignée " objets appartenant à M. A._ à séquestrer ", l'autre intitulée " M. A._ ayant droit économique des biens [i.e. comptes bancaires] mentionnés ci-dessous ". A.b. En exécution des ordonnances de séquestre susmentionnées, l'Office a, les 16 et 8 mars 2016, procédé aux séquestres requis et adressé deux procès-verbaux de séquestre à A._ (n os 1 et 2) et deux autres à B._ (n os 3 et 4). B. B.a. Le 21 mars 2016, A._ a déposé une " Dénonciation (art. 22 LP), subsidiairement plainte (art. 17 LP) " à l'encontre des deux procès-verbaux de séquestre auprès du Tribunal du district de Sierre, en sa qualité d'autorité inférieure en matière de plainte LP. Il a conclu à la constatation de la nullité des séquestres frappant les comptes bancaires listés sous la rubrique " M. A._ ayant droit économique des biens mentionnés ci-dessous ", subsidiairement à l'annulation des procès-verbaux de séquestre querellés en tant qu'ils portent sur les actifs bancaires susmentionnés. B.b. Statuant le 29 mars 2016, le Tribunal de district a rejeté la dénonciation, subsidiairement plainte précitée. B.c. Contre cette décision, A._ a, le 11 avril 2016, interjeté un recours devant le Tribunal cantonal du canton du Valais, en sa qualité d'autorité supérieure en matière de plainte LP, reprenant les conclusions prises devant l'autorité inférieure de surveillance. B.d. Dans ses déterminations, l'Office cantonal du contentieux financier a notamment admis " que le recourant ne semble plus contrôler les sociétés C._ SA et D._ SA ". B.e. Par réplique spontanée du 9 mai 2016, A._, se basant sur lesdites déterminations, a conclu que soit constaté, d'entrée de cause et sans attendre l'issue du recours, la nullité des séquestres frappant les comptes bancaires ouverts au nom des sociétés C._ SA et D._ SA. B.f. Par décision du 21 septembre 2016, le Tribunal cantonal valaisan a très partiellement admis le recours et a retiré les comptes bancaires ouverts au nom des sociétés C._ SA et D._ SA des listes des biens à séquestrer telles qu'elles sont annexées aux procès-verbaux de séquestre n os 1 et 2 du 16 mars 2016 adressés par l'Office des poursuites et faillites du district de Sierre à A._. C. Par acte posté le 3 octobre 2016, A._ exerce un recours en matière civile au Tribunal fédéral contre la décision du 21 septembre 2016. Il conclut à son annulation et, sous réserve des comptes bancaires ouverts au nom des sociétés C._ SA et D._ SA, à sa réforme dans le sens de ses conclusions prises devant l'autorité inférieure de surveillance. Subsidiairement, il sollicite le renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Des déterminations n'ont pas été requises.