Faits : A. A.a. Le 3 mars 2016, l'Administration cantonale de l'impôt fédéral direct et l'Office cantonal du contentieux financier ont chacun adressé à A._ et à B._ une demande de sûretés, à hauteur de xx'xxx'xxx fr. (impôts fédéraux et amendes fiscales pour les périodes 2004 à 2011, intérêts en sus) en ce qui concerne la première, et à concurrence de xx'xxx'xxx fr. (impôts cantonaux et amendes fiscales pour les périodes 2003 à 2011, intérêts en sus) en ce qui concerne la seconde. Le même jour, ils ont remis leurs demandes de sûretés, assimilées à des ordonnances de séquestre, à l'Office des poursuites et faillites du district de Sierre (ci-après: Office). Une liste des objets séquestrés a été annexée à chacune de ces ordonnances. Il en ressortait notamment les éléments suivants: Objets appartenant à M. A._ à séquestrer : - [...] - Participations que détient M. A._ dans la société C._ SA - Participations que détient M. A._ dans la société D._ SA - Les 15'100'345 actions que détient M. A._ dans la société E._ SA auprès de la banque I._ SA, à W._: N° de relation aa.aaaaaa-a - Les 19'746'145 actions que détient M. A._ dans la société F._ auprès de la banque I._ SA, à W._: N° de relation aa.aaaaaa-a - Les 155'386 actions que détient M. A._ dans la société E._ SA auprès de la banque I._ SA, à W._: N° de relation bb.bbbbbb-b - Les 137'000 actions que détient M. A._ dans la société F._ auprès de la banque I._, à W._: N° de relation bb.bbbbbb-b - Les 6'707'705 actions que détient M. A._ dans la société G._ auprès de la banque I._ SA, à W._: N° de relation cc.cccccc-c - Les 1'000'000 actions que détient M. A._ dans la société H._ auprès de la banque J._, à X._: N° de relation dddd-dddddd - [...] Les 8 et 16 mars 2016, l'Office a exécuté les ordonnances précitées en ce qui concerne A._ (séquestre n° 1 [impôts fédéraux et amendes] et n° 2 [impôts cantonaux et amendes]). A.b. Dans deux courriers du 18 avril 2016, l'Office cantonal du contentieux financier a, une nouvelle fois, demandé à l'Office d'exécuter les deux séquestres précités fondés sur les demandes de sûretés du 3 mars 2016. Il lui a transmis une liste d'objets appartenant à A._ et devant être séquestrés, ainsi rédigée: - Le 99.98% des actions que détient M. A._ dans la société C._ SA de siège à U._ - Le 73% des actions que détient M. A._ dans la société D._ SA de siège à V._ A séquestrer, conformément à l'article 99 LP, le fruit des actions (dividendes, tantièmes,...) mentionnées ci-après, lesquelles font déjà l'objet d'un séquestre. - Les 15'100'345 actions que détient M. A._ dans la société E._ SA auprès de la banque I._ SA, à W._: N° de la relation aa.aaaaaa-a - Les 19'746'145 actions que détient M. A._ dans la société F._ auprès de la banque I._, à W._: N° de la relation aa.aaaaaa-a - Les 155'386 actions que détient M. A._ dans la société E._ SA auprès de la banque I._ SA, à W._: N° de la relation bb.bbbbbb-b - Les 137'000 actions que détient M. A._ dans la société F._ auprès de la banque I._ SA, à W._: N° de la relation bb.bbbbbb-b - Les 6'707'705 actions que détient M. A._ dans la société G._ auprès de la banque I._ SA, à W._: N° de la relation cc.cccccc-c - Les 1'000'000 actions que détient M. A._ dans la société H._ auprès de la banque J._, à X._: N° de la relation dddd-dddddd A.c. Le 19 avril 2016, l'Office a procédé aux séquestres requis et, le 2 mai 2016, a adressé deux nouveaux procès-verbaux de séquestre à A._ (n° 3 [impôts fédéraux et amendes] et n° 4 [impôts cantonaux et amendes]). B. B.a. Par écriture du 13 mai 2016, A._ a déposé une dénonciation (art. 22 LP), subsidiairement une plainte (art. 17 LP), auprès du Tribunal du district de Sierre (ci-après: Tribunal) en concluant à la nullité des séquestres complémentaires n° 3 et n° 4, subsidiairement à l'annulation de ceux-ci. Par décision du 17 octobre 2016, le Tribunal a rejeté ces conclusions. B.b. Par décision du 9 mai 2017, l'Autorité supérieure en matière de plainte LP du Tribunal cantonal valaisan (ci-après: Autorité supérieure) a rejeté le recours de A._ contre cette décision. C. Par acte posté le 22 mai 2017, A._ interjette un recours en matière civile contre cette décision devant le Tribunal fédéral. Il conclut principalement à la constatation de la nullité des séquestres complémentaires n° 3 et n° 4 cités dans les procès-verbaux de séquestre dressés par l'Office des poursuites et faillites du district de Sierre le 2 mai 2016, et, subsidiairement, à l'annulation desdits séquestres, respectivement des procès-verbaux de séquestre querellés. Il invoque la violation des art. 274 s. LP. Invités à répondre, l'Office et l'Autorité supérieure ont informé le Tribunal fédéral qu'ils n'avaient pas d'observation à formuler. L'Administration cantonale de l'impôt fédéral direct et l'Office cantonal du contentieux financier n'ont pas donné suite à l'invitation à se déterminer.