Faits :
A.
B.A._ et A.A._ sont domiciliés dans le canton de Vaud. Le 6 décembre 2017, l'office d'impôt compétent a taxé les époux sur des prestations en capital provenant de la prévoyance à 5'429 fr. 60 pour l'impôt fédéral direct (ci-après: IFD) et à 24'188 fr. 25 pour les impôts cantonal et communal (ci-après: ICC) de la période fiscale 2017.
B.
Le 7 novembre 2018, contestant l'existence d'un cas d'imposition, les époux A._, par leur fiduciaire, ont demandé à l'office précité la révision de la décision du 6 décembre 2017 et la restitution des montants versés à tort. Faute de motif de révision, cet office a rejeté la demande, par décision du 22 novembre 2018. Par décision sur réclamation du 15 août 2019, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) a rejeté la réclamation déposée le 17 décembre 2018 par les époux contre la décision du 22 novembre 2018. Ceux-ci, agissant toujours par leur fiduciaire, ont contesté ce prononcé le 20 janvier 2020 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), en expliquant notamment que le collaborateur en charge de leur dossier auprès de leur fiduciaire s'était donné la mort un jour avant de poster le recours, engendrant de ce fait un dépôt hors délai. Par arrêt du 28 janvier 2020, le Tribunal cantonal a déclaré le recours irrecevable.
C.
Par courrier du 21 février 2020, B.A._ et A.A._, par leur fiduciaire, demandent en substance au Tribunal fédéral, sans toutefois prendre formellement de conclusions, de " reconnaître une double imposition sur un montant de deuxième pilier ", ainsi qu'un "enrichissement de l'Etat ". Ils expliquent en outre que le décès du collaborateur de leur fiduciaire a bouleversé l'organisation de celle-ci et qu'il ne saurait être question de négligence dans l'inobservation du délai de recours devant le Tribunal cantonal.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. L'Administration cantonale conclut au rejet du recours.

Considérant en droit :
1.
1.1. Le présent recours concerne le refus, par le Tribunal cantonal, d'entrer en matière sur un recours tardif, respectivement d'accorder la restitution du délai de recours dans une procédure de taxation IFD et ICC de la période fiscale 2017, soit un domaine qui ne tombe sous aucun des cas d'exceptions mentionnés à l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte. Le recours est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par une autorité judiciaire cantonale de dernière instance (art. 86 al. 1 let. d et al. 2 LTF). Il a en outre été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par les destinataires de l'arrêt entrepris qui ont qualité pour recourir (<ref-law>). Le recours est partant recevable, sous réserve de ce qui suit.
1.2. Lorsque l'autorité précédente n'entre pas en matière sur le recours, sans même en traiter matériellement de manière subsidiaire, seule la question de l'irrecevabilité peut être portée devant le Tribunal fédéral. Dans la mesure où le recours devrait être admis, le Tribunal fédéral renverrait la cause à l'autorité précédente pour un examen sur le fond (cf. <ref-ruling> consid. 3.2 p. 236; <ref-ruling> consid. 1.2 p. 41). Pour cette raison, les conclusions des recourants tendant à examiner la procédure au fond en reconnaissant " une double imposition " et un "enrichissement de l'Etat " sont irrecevables.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
3.1. En l'occurrence, le Tribunal cantonal n'est pas entré en matière sur le recours des contribuables, car ceux-ci ont contesté la décision sur réclamation de l'Administration cantonale du 15 août 2019 le 20 janvier 2020, c'est-à-dire hors délai. Il a relevé ne pas avoir reçu d'acte de recours daté du 4 septembre 2019 et a mentionné que les recourants n'avaient pas été en mesure de produire de moyen de preuve attestant avoir déposé cet acte dans le délai de 30 jours suivant la notification de la décision sur réclamation précitée. L'autorité précédente a en outre jugé que les conditions pour obtenir la restitution de délai n'étaient pas réunies en l'espèce. Elle a en effet considéré qu'au décès du collaborateur de la fiduciaire, celle-ci aurait dû vérifier l'ensemble des dossiers de celui-là et s'assurer que les éventuels délais de réclamation ou de recours avaient été sauvegardés. Selon le Tribunal cantonal, la fiduciaire aurait également dû s'inquiéter en ne recevant pas de nouvelle de son greffe. Le fait d'avoir attendu quatre mois pour réagir démontre la négligence de la fiduciaire et exclut la restitution du délai.
3.2. Pour leur part, les recourants, dans un acte de recours des plus succinct et à la limite de réunir les conditions de motivation posées par l'<ref-law>, expliquent que le décès du collaborateur de leur fiduciaire a totalement bouleversé l'organisation de celle-ci. Ils soutiennent en substance que ce décès exclut toute négligence de leur part, dans la mesure où la fiduciaire n'a jamais voulu se retrouver dans une telle situation et n'a pas pu contrôler ni suivre les dossiers comme elle l'aurait fait en temps normal.
3.3. Le litige porte donc sur le point de savoir si les recourants pouvaient prétendre à la restitution du délai de recours devant le Tribunal cantonal, étant précisé qu'il n'est pas contesté que le recours a bel et bien été déposé hors délai.
4.
4.1. En matière d'impôt fédéral direct, conformément à l'<ref-law> (RS 642.11), le contribuable peut s'opposer à la décision sur réclamation de l'autorité de taxation en s'adressant, dans les 30 jours à compter de la notification de la décision attaquée, à une commission de recours indépendante des autorités fiscales, tel, dans le canton de Vaud, le Tribunal cantonal. S'agissant des délais, l'<ref-law> prévoit que l'<ref-law> s'applique par analogie. Selon cette disposition, le délai commence à courir le lendemain de la notification. Il est considéré comme respecté si la réclamation a été remise à l'autorité de taxation, à un office de poste suisse ou à une représentation diplomatique ou consulaire suisse à l'étranger le dernier jour ouvrable du délai au plus tard. Lorsque le dernier jour du délai tombe un samedi, un dimanche ou un jour férié officiel, le délai expire le premier jour ouvrable qui suit (al. 1). Aux termes de l'<ref-law>, passé le délai de 30 jours, une réclamation n'est recevable que si le contribuable établit que par suite de service militaire, de service civil, de maladie, d'absence du pays ou pour d'autres motifs sérieux, il a été empêché de présenter sa réclamation en temps utile et qu'il l'a déposée dans les 30 jours après la fin de l'empêchement.
Selon la jurisprudence, la restitution du délai de recours ne peut être accordée que si le contribuable et son éventuel représentant ont été empêchés d'agir dans le délai, sans faute de leur part. Par empêchement non fautif, il faut entendre non seulement l'impossibilité objective, mais également l'impossibilité subjective, l'empêchement ne devant toutefois pas avoir été prévisible et devant être de nature telle que le respect du délai aurait exigé la prise de dispositions que l'on ne peut raisonnablement attendre de la part d'un homme d'affaire avisé. La règle d'après laquelle celui qui a été empêché, sans sa faute, d'interjeter un recours dans le délai fixé peut demander la restitution de ce délai constitue un principe général du droit, découlant du principe de proportionnalité et de l'interdiction du formalisme excessif (art. 5 al. 2 et 29 al. 1 Cst.), dont peut se prévaloir tout justiciable (arrêt 2C_737/2018 du 20 juin 2019 consid. 4.1 et les références, non publié in <ref-ruling>).
4.2. Certes, comme cela ressort de l'arrêt entrepris, le collaborateur de la fiduciaire des recourants est décédé le 3 septembre 2019, c'est-à-dire un jour avant l'envoi prévu du recours au Tribunal cantonal. Il ne fait aucun doute que cet événement, tragique et subit, a bouleversé l'organisation de la fiduciaire, comme l'affirment les recourants. Néanmoins, on relèvera que la décision sur réclamation date du 15 août 2019 et que le délai de recours de 30 jours prévu par l'<ref-law> n'était encore aucunement échu le 4 septembre 2019. Même sans connaître exactement la date de la notification de la décision sur réclamation, on doit retenir que la fiduciaire bénéficiait d'encore plus de dix jours pour recourir. Un tel délai devait lui laisser le temps de se réorganiser. Au demeurant, quand bien même le décès de son collaborateur aurait à ce point désorganisé la fiduciaire, il faut rappeler qu'à teneur de l'<ref-law>, par renvoi de l'<ref-law>, le recours doit être déposé dans les 30 jours qui suivent la fin de l'empêchement. Or, le recours n'a été interjeté que le 20 janvier 2020, soit plus de quatre mois après le décès du collaborateur de la fiduciaire. Un tel délai ne saurait être considéré comme admissible en l'espèce, ce d'autant moins que l'acte de recours était déjà rédigé et qu'il ne restait qu'à procéder à son envoi. On doit donc retenir, avec l'autorité précédente, que si le recours a été déposé hors délai, c'est en raison de la négligence des recourants, respectivement de la fiduciaire de ceux-ci. En procédant tel que l'aurait fait un homme d'affaire avisé, les recourants ou leur fiduciaire auraient pu procéder dans le délai de recours, ou à tout le moins demander une restitution de délai bien avant le 20 janvier 2020.
4.3. Sur le vu de ce qui précède, il convient donc de rejeter le recours, dans la mesure où il est recevable, en tant qu'il concerne l'impôt fédéral direct.
5.
Sous le titre "procédure de recours", l'art. 50 de la loi du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), ne règle expressément ni la notification des décisions ni le mode de calcul des délais de recours ni leur restitution. A fortiori, il ne règle pas la restitution du délai légal pour recourir contre une décision sur réclamation auprès de l'autorité judiciaire de recours (arrêt 2C_737/2018 du 20 juin 2019 consid. 6 et les références, non publié in <ref-ruling>).
En l'occurrence, les recourants n'ont aucunement motivé de violation du droit cantonal de procédure. Or, sauf dans les cas cités expressément à l'<ref-law>, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal en tant que tel. Il est certes possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>). Ainsi, dans la mesure où les recourants n'ont invoqué aucune violation du droit fédéral en relation avec la restitution du délai de recours en matière d'impôts cantonal et communal, leur grief ne peut qu'être écarté, faute d'être motivé à suffisance (arrêt 2C_737/2018 du 20 juin 2019 consid. 6 et les références, non publié in <ref-ruling>).
Le recours doit par conséquent également être rejeté, dans la mesure où il est recevable, en tant qu'il concerne les impôts cantonal et communal.
6.
Succombant, les recourant doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable, en tant qu'il concerne l'impôt fédéral direct.
2.
Le recours est rejeté, dans la mesure où il est recevable, en tant qu'il concerne les impôts cantonal et communal.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué au représentant des recourants, à l'Administration cantonale des impôts et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 25 mai 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette