Faits : A. Le 18 décembre 2009, A._ et B._ se sont vus notifier par l'Administration fiscale genevoise des décisions de taxation pour les impôts cantonaux et communaux ainsi que pour l'impôt fédéral direct (IFD) relatifs aux exercices 2001 à 2005. Par écriture du 20 janvier 2010, ils ont recouru à la Commission cantonale de recours en matière administrative, devenue le Tribunal administratif de première instance le 1 er janvier 2011 (ci-après: TAPI). B. B.a. Le 9 avril 2010, l'Administration fiscale cantonale a formé à l'encontre de A._ et B._ quatre demandes de sûretés, valant ordonnances de séquestre au sens de l'art. 274 LP, fondées sur les art. 38 et 30 de la loi relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP) ainsi que sur l'art. 169 de la loi fédérale sur l'impôt fédéral direct (LIFD), à savoir: - une première demande visant A._ pour garantir le paiement de l'ICC relatif aux exercices 2000 à 2005, bordereau n o ccc (ordonnance de séquestre n o ddd); - une seconde demande pour garantir le paiement de l'IFD relatif aux exercices 2001 à 2005 ainsi que des rappels d'impôt (ordonnance de séquestre n oeee); - une première demande visant B._ pour garantir le paiement de l'ICC relatif aux exercices 2000 à 2005, bordereau n o ccc, ainsi que les amendes notifiées au précité (ordonnance de séquestre n o fff); - une seconde demande pour garantir le paiement de l'IFD relatif aux exercices 2001 à 2005 ainsi que les rappels d'impôt et les amendes notifiées au précité (ordonnance de séquestre n o ggg). B.b. Ces ordonnances de séquestre, portant sur des avoirs bancaires et des parcelles sises à Genève, ont été exécutées par l'Office des poursuites le 12 avril 2010. C. Le 21 mai 2012, le TAPI a rejeté le recours interjeté par les époux le 20 janvier 2010 (supra, consid. A). Cette décision a fait l'objet d'un recours - toujours pendant - à la Chambre administrative de la Cour de justice. D. Le 11 juillet 2012, l'Administration fiscale cantonale a introduit quatre poursuites, portant les numéros hhh, iii, jjj et kkk, en validation des séquestres précités. Les commandements de payer y relatifs ont été notifiés par voie édictale le 12 avril 2013, en même temps que les procès-verbaux de séquestre dont la notification par voie postale avait échoué. E. Le 22 avril 2013, A._ et B._ ont déposé une plainte auprès de la Chambre de surveillance des Offices des poursuites et des faillites du canton de Genève (ci-après: la Chambre de surveillance). Ils ont conclu, principalement, à l'annulation des ordonnances de séquestre ainsi qu'à celle des procès-verbaux et des commandements de payer en validation, à la levée des séquestres, à ce qu'il soit ordonné au Registre foncier de radier les annotations sur les parcelles séquestrées et à ce que tous les frais relatifs aux séquestres et aux poursuites soient mis à la charge de l'Etat de Genève. Ils ont demandé, subsidiairement, la constatation que les poursuites n'ont pas validé les séquestres. F. Par décision du 16 janvier 2014, la Chambre de surveillance a déclaré irrecevable cette plainte en tant qu'elle est dirigée contre les ordonnances de séquestre notifiées par voie édictale le 12 avril 2013 et a écarté du dossier les écritures et pièces nouvelles produites par les plaignants le 8 novembre 2013. Elle l'a rejetée, dans la mesure de sa recevabilité, en tant qu'elle vise les procès-verbaux de séquestre et les commandements de payer en validation. G. Par écriture du 30 janvier 2014, A._ et B._ exercent " un recours en matière civile et recours constitutionnel subsidiaire " au Tribunal fédéral. Préalablement, ils demandent notamment que " les écritures et pièces nouvelles produites le 8 novembre 2013 soient déclarées faire partie intégrantes du dossier ". Ils concluent ensuite, principalement, à l'annulation des commandements de payer, des ordonnances de séquestre ainsi que des procès-verbaux, à la levée des séquestres ainsi qu'à la radiation des annotations des séquestres au registre foncier et, subsidiairement, au renvoi pour nouvelle décision dans le sens des considérants et à la constatation que les commandements de payer n'ont pas validé les séquestres. Des observations n'ont pas été requises. H. Par ordonnance du 18 février 2014, le Président de la II e Cour de droit civil du Tribunal fédéral a octroyé l'effet suspensif, en ce sens que les poursuites en validation des séquestres ne sont pas continuées pendant la procédure fédérale.