Faits :
A.
Le 18 décembre 2009, A._ et B._ se sont vus notifier par l'Administration fiscale genevoise des décisions de taxation pour les impôts cantonaux et communaux ainsi que pour l'impôt fédéral direct (IFD) relatifs aux exercices 2001 à 2005.
Par écriture du 20 janvier 2010, ils ont recouru à la Commission cantonale de recours en matière administrative, devenue le Tribunal administratif de première instance le 1 er janvier 2011 (ci-après: TAPI).
B.
B.a. Le 9 avril 2010, l'Administration fiscale cantonale a formé à l'encontre de A._ et B._ quatre demandes de sûretés, valant ordonnances de séquestre au sens de l'<ref-law>, fondées sur les art. 38 et 30 de la loi relative à la perception et aux garanties des impôts des personnes physiques et des personnes morales (LPGIP) ainsi que sur l'art. 169 de la loi fédérale sur l'impôt fédéral direct (LIFD), à savoir:
- une première demande visant A._ pour garantir le paiement de l'ICC relatif aux exercices 2000 à 2005, bordereau n o ccc (ordonnance de séquestre n o ddd);
- une seconde demande pour garantir le paiement de l'IFD relatif aux exercices 2001 à 2005 ainsi que des rappels d'impôt (ordonnance de séquestre n oeee);
- une première demande visant B._ pour garantir le paiement de l'ICC relatif aux exercices 2000 à 2005, bordereau n o ccc, ainsi que les amendes notifiées au précité (ordonnance de séquestre n o fff);
- une seconde demande pour garantir le paiement de l'IFD relatif aux exercices 2001 à 2005 ainsi que les rappels d'impôt et les amendes notifiées au précité (ordonnance de séquestre n o ggg).
B.b. Ces ordonnances de séquestre, portant sur des avoirs bancaires et des parcelles sises à Genève, ont été exécutées par l'Office des poursuites le 12 avril 2010.
C.
Le 21 mai 2012, le TAPI a rejeté le recours interjeté par les époux le 20 janvier 2010 (supra, consid. A). Cette décision a fait l'objet d'un recours - toujours pendant - à la Chambre administrative de la Cour de justice.
D.
Le 11 juillet 2012, l'Administration fiscale cantonale a introduit quatre poursuites, portant les numéros hhh, iii, jjj et kkk, en validation des séquestres précités.
Les commandements de payer y relatifs ont été notifiés par voie édictale le 12 avril 2013, en même temps que les procès-verbaux de séquestre dont la notification par voie postale avait échoué.
E.
Le 22 avril 2013, A._ et B._ ont déposé une plainte auprès de la Chambre de surveillance des Offices des poursuites et des faillites du canton de Genève (ci-après: la Chambre de surveillance). Ils ont conclu, principalement, à l'annulation des ordonnances de séquestre ainsi qu'à celle des procès-verbaux et des commandements de payer en validation, à la levée des séquestres, à ce qu'il soit ordonné au Registre foncier de radier les annotations sur les parcelles séquestrées et à ce que tous les frais relatifs aux séquestres et aux poursuites soient mis à la charge de l'Etat de Genève. Ils ont demandé, subsidiairement, la constatation que les poursuites n'ont pas validé les séquestres.
F.
Par décision du 16 janvier 2014, la Chambre de surveillance a déclaré irrecevable cette plainte en tant qu'elle est dirigée contre les ordonnances de séquestre notifiées par voie édictale le 12 avril 2013 et a écarté du dossier les écritures et pièces nouvelles produites par les plaignants le 8 novembre 2013. Elle l'a rejetée, dans la mesure de sa recevabilité, en tant qu'elle vise les procès-verbaux de séquestre et les commandements de payer en validation.
G.
Par écriture du 30 janvier 2014, A._ et B._ exercent " un recours en matière civile et recours constitutionnel subsidiaire " au Tribunal fédéral. Préalablement, ils demandent notamment que " les écritures et pièces nouvelles produites le 8 novembre 2013 soient déclarées faire partie intégrantes du dossier ". Ils concluent ensuite, principalement, à l'annulation des commandements de payer, des ordonnances de séquestre ainsi que des procès-verbaux, à la levée des séquestres ainsi qu'à la radiation des annotations des séquestres au registre foncier et, subsidiairement, au renvoi pour nouvelle décision dans le sens des considérants et à la constatation que les commandements de payer n'ont pas validé les séquestres.
Des observations n'ont pas été requises.
H.
Par ordonnance du 18 février 2014, le Président de la II e Cour de droit civil du Tribunal fédéral a octroyé l'effet suspensif, en ce sens que les poursuites en validation des séquestres ne sont pas continuées pendant la procédure fédérale.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office la recevabilité du recours dont il est saisi (<ref-law>; <ref-ruling> consid. 1 p. 44 et la jurisprudence citée).
1.1. Déposé en temps utile (<ref-law>) contre une décision finale (<ref-law>; <ref-ruling> consid. 1.2 p. 351) prise par une autorité de surveillance en matière de poursuite pour dettes statuant en dernière (et unique) instance cantonale (<ref-law>), le recours en matière civile est recevable, indépendamment de la valeur litigieuse (art. 74 al. 2 let. c LTF). Les plaignants ont qualité pour recourir (<ref-law>).
1.2. Contrairement à ce que semblent penser les recourants, la II e Cour de droit civil est compétente pour connaître de la violation de droits constitutionnels dans un recours en matière civile (<ref-law>), un tel moyen tombant sous le coup de l'<ref-law> (<ref-ruling> consid. 3.1 p. 447; <ref-ruling> consid. 3.3 in fine p. 133). Le recours constitutionnel subsidiaire n'entre pas en considération.
2.
2.1. Aux termes de l'<ref-law>, le mémoire de recours doit notamment contenir - sous peine d'irrecevabilité (<ref-law>) - les motifs à l'appui des conclusions, lesquels doivent exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Pour satisfaire à ces exigences, la partie recourante doit discuter les motifs de la décision entreprise et indiquer précisément en quoi elle estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 1.4 p. 287).
Si elle se plaint plus particulièrement de la violation de droits fondamentaux ou du droit cantonal, elle doit respecter le principe d'allégation et indiquer précisément quelle disposition constitutionnelle ou légale a été violée en démontrant par une argumentation précise en quoi consiste la violation (<ref-law>; <ref-ruling> consid. 3.2 p. 88 et les arrêts cités), les critiques de nature appellatoire étant irrecevables (<ref-ruling> consid. 2 p. 591/592).
2.2. Vu ces exigences, lorsque les recourants reprochent à la Chambre de surveillance d'avoir ignoré certains arguments de leur recours à la Chambre administrative ou d'avoir omis de constater le " contenu pour le moins inexact des commandements de payer ", leur critique - appellatoire - est irrecevable.
3.
Les recourants reprochent à la Chambre de surveillance d'avoir écarté les pièces nouvelles produites le 8 novembre 2013. Ils y voient une violation de leur droit d'être entendus garanti par l'art. 6 par. 1 CEDH, l'art. 29 Cst. et les art. 41 ss de la loi genevoise, du 12 septembre 1985, sur la procédure administrative (LPA; RS/GE E 5 10), notamment l'art. 68 LPA.
3.1. Le droit d'être entendu garanti par l'art. 29 al. 2 Cst. n'est violé que si l'autorité refuse d'administrer une preuve régulièrement offerte dans les formes et les délais prévus par la loi de procédure, et portant sur un fait pertinent pour l'appréciation juridique de la cause (<ref-ruling> consid. 3. p. 157; <ref-ruling> consid. 2b p. 56; <ref-ruling> consid. 2 p. 242).
L'art. 6 par. 1 CEDH n'a pas de portée supérieure à celle de l'art. 29 al. 2 Cst. (cf. <ref-ruling> consid. 5a p. 302 et les arrêts cités).
3.2. L'autorité cantonale a écarté les pièces litigieuses du dossier pour des motifs tenant au droit de procédure cantonal. Se référant à l'art. 65 al. 4 LPA en relation avec l'art. 9 al. 1 de la loi d'application de la loi fédérale sur la poursuite pour dettes et la faillite du 29 janvier 2010 (LaLP; RS/GE E 3 60), elle a considéré que, sauf autorisation expresse de la Chambre de surveillance et fixation d'un délai ad hoc, la plainte ne peut être complétée après son dépôt. Selon la jurisprudence cantonale (DCSO/324/2007 du 28 juin 2007 consid. 1b et DCSO/94/2012 du 8 mars 2012 consid. 1.3), cette règle, déduite de l'exigence de la forme écrite (art. 9 al. 1 LaLP; art. 64 al. 1 LPA) et du délai de forclusion pour déposer plainte (<ref-law>), entraînait l'irrecevabilité des conclusions et pièces nouvelles produites spontanément.
Dans une motivation subsidiaire, elle a jugé que les pièces produites se rapportaient de toute façon à une question ne relevant pas de la compétence de la Chambre de surveillance.
3.3. Nonobstant que les recourants n'attaquent pas ces deux motivations comme l'exige la jurisprudence (<ref-ruling> consid. 4.1.4 p. 100), ils ne démontrent pas que l'autorité cantonale aurait arbitrairement appliqué le droit de procédure. Ils se contentent d'opposer péremptoirement (cf. supra, consid. 2) que la recevabilité de leurs pièces nouvelles pourrait se fonder sur une application analogique de l'<ref-law>, qui va " dans le même sens que l'art. 59 al. 2 in fine du Code de procédure et de juridiction administrative fribourgeois (CPJA), selon lequel des faits et moyens de preuve nouveaux peuvent être apportés postérieurement au dernier échange d'écritures ou à la dernière audience d'instruction ", principe qui serait aussi ancré en droit administratif fédéral (<ref-law>) et qui s'imposerait au nom de l'économie de procédure.
En présence de pièces qui n'ont pas été régulièrement offertes selon le droit de procédure (cf. supra, consid. 3.1), on ne voit pas en quoi le refus de les administrer violerait par ailleurs le droit d'être entendu des recourants.
4.
Les recourants prétendent que, contrairement à ce que l'autorité cantonale a arbitrairement retenu, ils ont contesté le principe de leur assujettissement en Suisse dans leur recours du 20 janvier 2010 à la Commission cantonale de recours en matière administrative et que, dans un tel cas, selon la jurisprudence sur laquelle se fonde la décision cantonale, la poursuite en validation doit intervenir dans les dix jours dès la réception par l'administration fiscale du procès-verbal de séquestre, ce qui n'a pas été le cas en l'espèce. Les séquestres seraient ainsi caducs.
4.1. La Chambre de surveillance a constaté que la procédure relative aux décisions de taxation notifiées aux recourants le 18 décembre 2009 et pendante devant la Chambre administrative de la Cour de justice devait être considérée comme une action en reconnaissance de dette, le principe même de l'assujettissement n'ayant pas été contesté. Dans leur recours du 20 janvier 2010 interjeté contre ces décisions, les intéressés avaient en effet conclu expressément à l'établissement de nouveaux bordereaux portant sur d'autres montants et remplaçant ceux querellés, sans remettre en cause le principe de leur assujettissement fiscal en Suisse. Ils n'avaient soulevé cette question qu'après le rejet de leur recours par jugement du 21 mai 2012, lorsqu'ils avaient porté la cause devant la Chambre administrative de la Cour de justice, procédure encore pendante. La Chambre de surveillance a dès lors considéré que, selon la jurisprudence (<ref-ruling>), le délai de dix jours pour requérir les poursuites en validation des séquestres n'avait ainsi pas commencé à courir et que cela ne serait le cas qu'à la date de la notification aux plaignants de décisions de taxation définitives.
4.2. Les recourants taxent d'arbitraire la constatation de l'arrêt cantonal selon laquelle, dans leur recours du 20 janvier 2010, ils ont conclu expressément à l'établissement de nouveaux bordereaux portant sur d'autres montants et remplaçant ceux querellés et n'ont pas contesté le principe de leur assujettissement fiscal. Ils se réfèrent notamment aux chiffres 1 à 9 de la partie en fait dudit recours et aux pièces citées à l'appui de ces allégations ainsi qu'au raisonnement de la partie en droit et à un " ch. 32 " du jugement du TAPI.
4.3. Nonobstant que les recourants n'indiquent pas où pourrait se trouver le recours du 20 janvier 2010 dans les volumineuses annexes à son recours (cf. sous l'OJ, <ref-ruling> consid. 2a p. 486, confirmé par ex. à l'arrêt 4A_324/2012 du 24 septembre 2012 consid. 1.4), force est de constater que celui-ci, interjeté - selon l'arrêt entrepris - " contre les décisions de taxation du 18 décembre 2009 pour les impôts cantonaux et communaux ainsi que pour l'impôt fédéral direct relatifs aux exercices 2001 à 2005 " et enregistré sous le numéro de cause " ccc " ne figure pas au dossier. Le chargé des recourants fait certes état d'un " recours à la Commission cantonale de recours en matière administrative [...] du 27 octobre 2010 ". Celui-ci a toutefois été interjeté à l'encontre de la " décision du 30 septembre 2010 de l'Administration fiscale cantonale relative au bordereau pour l'impôt cantonal et communal (ICC) pour la période du 1 er janvier 2006 au 6 avril 2006 et la décision du 30 septembre 2010 [...] relative au bordereau pour l'impôt fédéral direct (IFD) pour la période du 1 er janvier 2006 au 6 avril 2006, décisions toutes deux notifiées le 30 septembre 2010 ".
Pour le surplus, on ne voit pas ce que les recourants entendent tirer du chiffre 32 du jugement du TAPI du 21 mai 2012.
5.
Selon les recourants, la Chambre de surveillance serait tombée dans l'arbitraire en prétendant qu'ils n'ont jamais contesté leur assujettissement. Autant qu'il est recevable, ce grief est mal fondé. Au début de la page dix de sa décision, l'autorité cantonale a retenu que les recourants ont contesté leur assujettissement fiscal en Suisse, mais seulement au " stade " de leur recours à la Chambre administrative.
Lorsque les recourants prétendent que la Chambre de surveillance aurait fait preuve de formalisme excessif dans son application de la jurisprudence en ne tenant pas compte de cette contestation " tardive ", ils semblent méconnaître que le formalisme excessif, qui est un aspect particulier du déni de justice prohibé par l'art. 29 al. 1 Cst., est réalisé lorsque la stricte application des règles de procédure ne se justifie par aucun intérêt digne de protection, devient une fin en soi, complique de manière insoutenable la mise en oeuvre du droit matériel ou entrave de manière inadmissible l'accès aux tribunaux (cf. <ref-ruling> consid. 2.1 p. 9). Or, ils ne démontrent pas en quoi tel serait le cas en l'espèce.
6.
Vu ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les recourants, qui succombent, supporteront les frais de la procédure (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties, à l'Office des poursuites de Genève et à la Chambre de surveillance des Offices des poursuites et faillites de la Cour de justice du canton de Genève.
Lausanne, le 10 juillet 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : La Greffière :
von Werdt Jordan