Faits :
A.
Le 25 mars 2015, A._ et sa femme ont été taxés par l'Administration fiscale cantonale de la République et canton de Genève (ci-après: l'Administration fiscale) pour l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) de l'année fiscale 2010. Suite à une demande de renseignements du 6 novembre 2015, adressée par cette autorité à la fiduciaire représentant les contribuables, et à la réponse de cette fiduciaire du 10 mars 2016, dans laquelle elle confirme notamment avoir été mandatée par ceux-ci (cf. <ref-law>), l'Administration fiscale a rejeté la réclamation formée par les époux A._ par décision du 20 mai 2016.
Le 15 août 2016, A._ a recouru contre la décision sur réclamation précitée auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance), demandant en particulier la restitution du délai de recours. Par jugement du 8 mai 2017, le Tribunal administratif de première instance a rejeté la demande de restitution de délai et, pour le surplus, a déclaré le recours irrecevable car tardif. Ce jugement a été confirmé, sur recours, par la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) le 12 décembre 2017. Par arrêt du 26 mars 2018, le Tribunal fédéral, constatant une violation du droit d'être entendus des contribuables, a annulé l'arrêt de la Cour de justice du 12 décembre 2017 et renvoyé la cause à cette autorité pour qu'elle donne suite aux offres de preuve relatives à la restitution du délai de recours présentées par l'intéressé devant le Tribunal administratif de première instance (arrêt 2C_101/2018).
B.
Après que les contribuables et leur médecin de famille ont été entendus par la Cour de justice lors d'une audience d'instruction le 11 juin 2018, celle-ci a rejeté le recours par arrêt du 26 juin 2018, considérant que le contribuable avait certes été empêché de recourir devant le Tribunal administratif de première instance dans le délai, mais que sa femme, qui n'était pas empêchée et représentait solidairement le couple dans la procédure fiscale, aurait pu interjeter recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 26 juin 2018, de restituer le délai de recours pour agir devant le Tribunal administratif de première instance et de renvoyer la cause à l'autorité précédente pour qu'elle statue sur le fond ou qu'elle transmette elle-même la cause au Tribunal administratif de première instance pour ce faire.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt et l'Administration fédérale des contributions s'en remet à justice. L'Administration fiscale conclut au rejet du recours. Par la suite, A._ a confirmé ses conclusions. Sur invitation, il s'est encore prononcé quant à une éventuelle substitution de motif envisagée par le Tribunal fédéral. L'Administration fiscale en a fait de même.
D.
Le 20 juin 2019, la IIe Cour de droit public du Tribunal fédéral a délibéré sur le présent recours en séance publique.

Considérant en droit :
1.
Le présent recours concerne la confirmation, par la Cour de justice, du refus d'accorder la restitution d'un délai de recours dans une procédure de taxation IFD et ICC de l'année fiscale 2010, soit un domaine qui ne tombe sous aucun des cas d'exceptions mentionnés à l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte. Le recours est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par une autorité judiciaire cantonale de dernière instance (art. 86 al. 1 let. d et al. 2 LTF). Il a en outre été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par le destinataire de l'arrêt entrepris qui a qualité pour recourir (<ref-law>). Le recours est partant recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>) sans être lié ni par les motifs de l'autorité précédente, ni par les moyens des parties; il peut donc admettre le recours en se fondant sur d'autres arguments que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 3 p. 783). Le Tribunal fédéral est certes lié par les considérants en droit de son premier arrêt de renvoi (cf. <ref-ruling> consid. 2a p. 423; arrêt 5A_131/2019 du 18 avril 2019 consid. 3.1). Dans la présente cause toutefois, l'arrêt de renvoi 2C_101/2018 du 26 mars 2018 a constaté une violation du droit d'être entendu du recourant, c'est-à-dire un grief formel, sans procéder à un examen au fond. Cela ne limite donc en rien l'examen de la présente cause.
2.2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
3.1. Dans l'arrêt entrepris, la Cour de justice a relevé que la décision sur réclamation de l'Administration fiscale a été reçue le 21 mai 2016 par le mandataire du recourant et de sa femme. Elle a en outre constaté que le délai de recours était arrivé à échéance le 20 juin 2016, raison pour laquelle il était nécessaire de déterminer si le recourant avait été empêché d'agir entre le 21 mai et le 15 août 2016, date du dépôt du recours devant le Tribunal administratif de première instance. Elle a ainsi procédé à une appréciation des déclarations du recourant et des moyens de preuve à sa disposition, en particulier du témoignage du médecin de famille du recourant et de sa femme. Elle en a déduit que le recourant avait subi, en tous les cas entre les mois de mai et juillet 2016, une atteinte à sa santé psychique l'empêchant de gérer ses affaires, en particulier le litige fiscal. En revanche, constatant que la femme du recourant n'avait pas démontré être empêchée de recourir, la Cour de justice a jugé qu'elle pouvait s'occuper dudit litige fiscal, à tout le moins en mandatant un tiers pour ce faire, les devoirs et obligations à l'égard du fisc s'imposant à chaque conjoint en raison de la représentation réciproque des époux dans la procédure fiscale.
3.2. Pour sa part, le recourant reconnaît que son épouse n'a pas démontré son incapacité à recourir contre la décision sur réclamation du 20 mai 2016. Il est toutefois d'avis que la Cour de justice a transformé la présomption de représentation entre les époux en une obligation d'agir pour l'autre en cas d'empêchement, sans instruction. Il estime qu'une telle interprétation est contraire au droit fédéral et cantonal et ne correspond pas à la volonté du législateur, chaque époux étant un contribuable autonome qui doit pouvoir agir indépendamment de son conjoint. Il conclut en retenant qu'il ne saurait se voir opposer l'inaction de son épouse dans sa requête en restitution du délai de recours devant le Tribunal administratif de première instance.
3.3. Le litige porte donc exclusivement sur le point de savoir si le recourant peut prétendre à la restitution du délai pour recourir devant le Tribunal administratif de première instance contre la décision sur réclamation de l'Administration fiscale du 20 mai 2016 relative à l'IFD et l'ICC de l'année fiscale 2010.
I. Impôt fédéral direct
4.
4.1. Conformément à l'<ref-law> (RS 642.11), le contribuable peut s'opposer à la décision sur réclamation de l'autorité de taxation en s'adressant, dans les 30 jours à compter de la notification de la décision attaquée, à une commission de recours indépendante des autorités fiscales, tel, à Genève, le Tribunal administratif de première instance. S'agissant des délais, l'<ref-law> prévoit que l'<ref-law> s'applique par analogie. Selon cette disposition, le délai commence à courir le lendemain de la notification. Il est considéré comme respecté si la réclamation a été remise à l'autorité de taxation, à un office de poste suisse ou à une représentation diplomatique ou consulaire suisse à l'étranger le dernier jour ouvrable du délai au plus tard. Lorsque le dernier jour du délai tombe un samedi, un dimanche ou un jour férié officiel, le délai expire le premier jour ouvrable qui suit (al. 1). Aux termes de l'<ref-law>, passé le délai de 30 jours, une réclamation n'est recevable que si le contribuable établit que par suite de service militaire, de service civil, de maladie, d'absence du pays ou pour d'autres motifs sérieux, il a été empêché de présenter sa réclamation en temps utile et qu'il l'a déposée dans les 30 jours après la fin de l'empêchement.
Selon la jurisprudence, la restitution du délai de recours ne peut être accordée que si le contribuable et son éventuel représentant ont été empêchés d'agir dans le délai, sans faute de leur part (arrêts 2C_407/2012 du 23 novembre 2012 consid. 3.2; 2C_699/2012 du 22 octobre 2012 consid. 3.2). Par empêchement non fautif, il faut entendre non seulement l'impossibilité objective, mais également l'impossibilité subjective, l'empêchement ne devant toutefois pas avoir été prévisible et devant être de nature telle que le respect du délai aurait exigé la prise de dispositions que l'on ne peut raisonnablement attendre de la part d'un homme d'affaire avisé (CASANOVA/DUBEY, in Commentaire romand, Impôt fédéral direct, 2 e éd. 2017, n. 15 ad <ref-law>; ZWEIFEL/HUNZIKER, Bundesgesetz über die direkte Bundessteuer, 3 e éd. 2017, n. 19 ad <ref-law>; PETER LOCHER, Kommentar zum Bundesgesetz über die direkte Bundessteuer, III. Teil, 2015, n. 21 ad <ref-law>; cf. également STEFAN VOGEL, in Bundesgesetz über das Verwaltungsverfahren, Auer/Müller/Schindler [éd.], 2 e éd. 2019, n. 7 ad <ref-law>). La règle d'après laquelle celui qui a été empêché, sans sa faute, d'interjeter un recours dans le délai fixé peut demander la restitution de ce délai constitue un principe général du droit, découlant du principe de proportionnalité et de l'interdiction du formalisme excessif (art. 5 al. 2 et 29 al. 1 Cst.), dont peut se prévaloir tout justiciable (cf. <ref-ruling> consid. 2c p. 110; arrêt 2C_735/2012 du 25 mars 2013 consid. 1.4.1 et les références).
4.2. En l'occurrence, après avoir apprécié les éléments de preuve à sa disposition et en particulier le témoignage du médecin traitant des contribuables, l'autorité précédente a retenu, de manière à lier le Tribunal fédéral (<ref-law>), que le recourant avait été empêché, de manière non fautive, de gérer ses affaires entre les mois de mai et de juillet 2016 en raison d'une atteinte à sa santé psychique. Pour rejeter le recours interjeté devant elle, la Cour de justice a toutefois considéré que, si le recourant était empêché de recourir, il n'en allait pas de même de son épouse. S'appuyant sur l'<ref-law>, qui dispose que pour que les recours et autres écrits soient réputés introduits en temps utile, il suffit que l'un des époux ait agi dans les délais, l'autorité précédente a jugé que l'épouse représentait son mari dans la procédure fiscale et qu'il lui appartenait de recourir à sa place ou de mandater un tiers pour ce faire.
Comme l'a relevé le recourant, le Tribunal fédéral n'a jamais examiné la question de savoir si, en matière d'impôt fédéral direct, lorsque l'un des époux est empêché de recourir ou de déposer une réclamation, il appartient au conjoint d'agir en tant que représentant pour préserver le délai. Le Tribunal fédéral a même expressément laissé cette question ouverte (cf. arrêt 2C_451/2016 du 8 juillet 2016 consid. 2.3). Néanmoins, sur le vu des considérants qui suivent, il n'y a pas non plus à la trancher dans la présente cause.
5.
5.1. Dans une jurisprudence récente (arrêt 2C_872/2018 du 18 décembre 2018), le Tribunal fédéral a rappelé les principes découlant de l'<ref-law>, selon lequel le contribuable peut se faire représenter contractuellement devant les autorités chargées de l'application de la LIFD, dans la mesure où sa collaboration personnelle n'est pas nécessaire. Il a en particulier jugé que la personne valablement représentée doit se laisser imputer le comportement procédural de son représentant. Il doit toutefois exister un rapport de représentation au sens des <ref-law> entre le contribuable et son représentant. En matière d'impôt direct, le contribuable est présumé n'avoir octroyé aucun pouvoir de représentation. Cette présomption est renversée lorsqu'il existe une procuration écrite ou que les autorités peuvent, de bonne foi, déduire des circonstances une volonté claire de la personne concernée de se faire représenter (arrêt 2C_872/2018 du 18 décembre 2018 consid. 2.2.3 et les références). Conformément à la pratique, une telle procuration est réputée avoir été valablement conférée lorsque le contribuable désigne textuellement un représentant sur sa déclaration d'impôt (arrêt 2C_872/2018 du 18 décembre 2018 consid. 2.2.4).
Il convient par ailleurs de rappeler que le contrat liant la société fiduciaire au contribuable est un contrat de mandat, régi par les <ref-law>. Or, selon l'<ref-law>, l'étendue du mandat est déterminée, si la convention ne l'a pas expressément fixée, par la nature de l'affaire à laquelle il se rapporte. En particulier, le mandat comprend le pouvoir de faire les actes juridiques nécessités par son exécution (<ref-law>), cette disposition n'exigeant pas du mandataire qu'il attende une autorisation spéciale expresse de son client avant d'effectuer toute démarche judiciaire nécessaire à l'accomplissement de l'affaire confiée (BOHNET/MARTENET, Droit de la profession d'avocat, 2009, n. 2649; WALTER FELLMANN, Anwaltsrecht, 2010, n. 1027). Le mandataire doit ainsi informer son mandant sans délai des décisions qui lui ont été notifiées et lui faire part des diverses solutions envisageables. Dans l'hypothèse où la décision est défavorable au mandant, il doit également, dans le délai de recours, s'assurer de la volonté de celui-ci de ne pas recourir (<ref-ruling> consid. 2 p. 94 et la référence). S'il y a péril en la demeure, par exemple pour interrompre une prescription ou requérir des mesures provisoires, le mandataire doit en principe entreprendre les démarches nécessaires, même s'il n'a pas pu obtenir préalablement l'aval de son mandant (arrêt 4A_558/2017 du 29 mai 2018 consid. 5.3.2 concernant les avocats et la référence à BOHNET/MARTENET, op. cit., n. 2739). La présomption selon laquelle le mandat comprend pour le mandataire le pouvoir de faire tous les actes juridiques nécessités par son exécution vaut tant dans les rapports internes que dans les rapports externes (BOHNET/MARTENET, op. cit., n. 2651; contra WALTER FELLMANN, op. cit., n. 1029).
5.2. En l'occurrence, la Cour de justice a constaté de manière à lier le Tribunal fédéral (<ref-law>) que le recourant était représenté par une fiduciaire dans la procédure devant l'Administration fiscale. C'est par conséquent à cette fiduciaire qu'a été notifiée la décision sur réclamation du 20 mai 2016 (<ref-law>). La fiduciaire était en outre l'unique interlocutrice de l'Administration fiscale lors des diverses demandes d'informations complémentaires et a été expressément mentionnée en tant que représentante du recourant et de sa femme sur leur déclaration d'impôt (<ref-law>), sans qu'une quelconque limitation de ses pouvoirs ne soit prévue. Le recourant n'a jamais contesté la notification de la décision sur réclamation, ni avoir été représenté par sa fiduciaire lors des procédures de taxation et de réclamation. Dans ses dernières déterminations, il conteste en revanche l'existence d'une procuration écrite en faveur de la fiduciaire qui aurait permis à celle-ci de déposer un recours devant la commission cantonale de recours en matière d'impôt au sens des <ref-law>, c'est-à-dire en l'occurrence le Tribunal administratif de première instance. L'absence de procuration écrite n'est toutefois pas déterminante. Il ne faut en effet pas perdre de vue que sur la première page de la déclaration d'impôt du contribuable pour la période fiscale 2010, la fiduciaire est expressément mentionnée comme étant la mandataire de celui-ci et que c'est elle qui, en tant que représentante, a déposé la réclamation le 22 mai 2015. Une telle situation aurait permis à l'Administration fiscale, ainsi qu'au Tribunal administratif de première instance, en tant qu'autorité de recours au sens de la LIFD, de déduire la volonté claire de représentation du recourant (arrêt 2C_872/2018 du 18 décembre 2018 consid. 2.2.4 et les références). Le rapport de représentation entre le recourant et sa fiduciaire valait tant et aussi longtemps qu'il n'y avait pas été expressément mis un terme, à tout le moins tant que l'affaire pour laquelle ce mandat avait été octroyé, c'est-à-dire le litige fiscal devant les autorités fiscales prévues aux <ref-law> (éventuellement à l'<ref-law>), n'était pas terminée (<ref-law>; cf. consid. 5.1 ci-dessus).
5.3. Puisque, lorsqu'a commencé l'empêchement du recourant au début du mois de mai 2016, la décision sur réclamation n'avait pas encore été notifiée et que le contribuable était donc toujours représenté par sa fiduciaire, rien n'indique que celle-ci n'aurait pas été en mesure de sauvegarder les droits de son mandant et, le cas échéant, introduire un recours contre la décision sur réclamation du 20 mai 2016 auprès du Tribunal administratif de première instance dans le délai légal (cf. art. 9 al. 1 de la loi genevoise du 12 septembre 1985 sur la procédure administrative [LPA/GE; RSGE E 5 10] et 20 de la loi genevoise de procédure fiscale du 4 octobre 2001 [LPFisc/GE; RSGE D 3 17] qui ne prévoient pas le monopole de l'avocat en matière administrative, respectivement fiscale; cf. également GRODECKI/ JORDAN, Code annoté de procédure administrative genevoise, 2017, n. 149). Si, comme en l'espèce, le représentant n'est pas empêché, la partie ne saurait invoquer son propre empêchement (cf. STEFAN VOGEL, op. cit., n. 17 ad <ref-law>; JEAN-MAURICE FRÉSARD, in Commentaire de la LTF, Corboz et al. [éd.], 2 e éd. 2014, n. 6 ad <ref-law>). Certes, l'état du recourant dès le mois de mai 2016 rendait vraisemblablement impossible, pour sa représentante, l'obtention d'instructions quant à l'opportunité de déposer un recours contre la décision sur réclamation. Il n'en demeure pas moins que dans un tel cas de figure, le Tribunal fédéral a déjà eu l'occasion de juger que cela ne dispensait pas la représentante de l'obligation de déposer un recours en temps utile, de sa propre initiative, pour sauvegarder les délais, respectivement les intérêts de son client (cf. consid. 5.1 ci-dessus). Le recourant doit en conséquent se laisser imputer l'inaction de sa représentante, celui-ci n'indiquant aucun élément démontrant que la fiduciaire aurait elle-même été empêchée d'agir sans sa faute.
5.4. Le recours doit en conséquence être rejeté en tant qu'il concerne l'impôt fédéral direct de l'année fiscale 2010.
II. Impôts cantonal et communal
6.
Sous le titre "procédure de recours", l'art. 50 de la loi du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), ne règle expressément ni la notification des décisions ni le mode de calcul des délais de recours ni leur restitution (cf. arrêt 2C_40/2018 du 8 février 2018 consid. 6 et les références). A fortiori, il ne règle pas la restitution du délai légal pour recourir contre une décision sur réclamation auprès de l'autorité judiciaire de recours.
En l'occurrence, le recourant s'est contenté de se prévaloir d'une violation de l'art. 16 al. 3 LPA/GE. Or, sauf dans les cas cités expressément à l'<ref-law>, le recours devant le Tribunal fédéral ne peut pas être formé pour violation du droit cantonal en tant que tel. Il est certes possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>). Or, dans la mesure où le recourant n'a invoqué aucune violation du droit fédéral en relation avec la restitution du délai de recours en matière d'impôts cantonal et communal, son grief ne peut qu'être écarté, faute d'être motivé à suffisance (cf. arrêt 2C_40/2018 du 8 février 2018 consid. 6 et les références, notamment en relation avec l'art. 129 Cst.).
Le recours doit par conséquent également être rejeté en tant qu'il concerne les impôts cantonal et communal de l'année fiscale 2010.
7.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct de l'année fiscale 2010.
2.
Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal de l'année fiscale 2010.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux mandataires du recourant, à l'Administration fiscale cantonale et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 20 juin 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette