Faits : A. A.a. Le 3 mars 2016, l'Administration cantonale de l'impôt fédéral direct, respectivement l'Office cantonal du contentieux financier, ont adressé à A._ et à B._ des demandes de sûretés à hauteur de xxxxx fr. (impôts fédéraux et amendes fiscales pour les périodes 2004 à 2011, intérêts en sus), respectivement à concurrence de xxxxx fr. (impôts cantonaux et amendes fiscales pour les périodes 2003 à 2011, intérêts en sus). Le même jour, les demandes de sûretés, assimilées à des ordonnances de séquestre, ont été remises à l'Office des poursuites et faillites du district de Sierre (ci-après: l'Office) qui les a exécutées (séquestre n° 1 [impôts fédéraux et amendes] et n° 2 [impôts cantonaux et amendes]). Une liste des objets séquestrés a été annexée à chacune de ces ordonnances. A.b. Par plis recommandés des 7 et 8 mars 2016, l'Office a avisé C._ SA, à U._, que, sur requête du Service cantonal des contributions du canton du Valais, " toutes participations que détient M. A._ dans votre société " jusqu'à concurrence de xxxxx fr. (séquestre n° 1), respectivement xxxxx fr. (séquestre n° 2), plus intérêts et frais, étaient séquestrées au préjudice de celui-ci. Ces avis indiquaient également ce qui suit: " Conformément à l'art. 99 LP, nous vous prévenons que désormais vous ne pourrez plus vous acquitter qu'en nos mains de tous montants revenant au débiteur en rapport avec ces parts sociales, sinon vous vous exposez à devoir payer deux fois. " B. B.a. Le 18 mars 2016, A._ et C._ SA ont déposé une " Dénonciation (art. 22 LP), subsidiairement plainte (art. 17 LP) " à l'encontre des deux procès-verbaux de séquestre auprès du Tribunal du district de Sierre, en sa qualité d'autorité inférieure en matière de plainte LP. Ils ont conclu à la constatation de la nullité des avis susmentionnés, subsidiairement à l'annulation de ceux-ci. B.b. Statuant le 30 juin 2016, le Tribunal de district a rejeté la dénonciation, subsidiairement plainte précitée. B.c. Contre cette décision, A._ et C._ SA ont, le 3 août 2016, interjeté un recours devant le Tribunal cantonal du canton du Valais, en sa qualité d'autorité supérieure en matière de plainte LP, reprenant les conclusions prises devant l'autorité inférieure de surveillance. B.d. Par décision du 21 septembre 2016, le Tribunal cantonal valaisan a rejeté le recours. C. Par acte posté le 3 octobre 2016, A._ et C._ SA exercent un recours en matière civile au Tribunal fédéral contre la décision du 21 septembre 2016. Ils concluent à son annulation et à sa réforme dans le sens des conclusions prises devant l'autorité inférieure de surveillance. Subsidiairement, ils sollicitent le renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Des déterminations n'ont pas été requises.