Faits: A. A.a. X._ est domicilié à Genève depuis le 18 janvier 1991. A.b. Le 2 juillet 1991, par l'entremise de son conseil, X._ a informé l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) qu'il allait verser le produit de la vente de deux entreprises dont il était propriétaire à hauteur respectivement de 45 % et de 55 % dans deux trusts. La part de 45 % serait transférée dans un trust bermudien discrétionnaire et irrévocable (A._; ci-après: trust A._), la part de 55 % à un trust révocable (B._; ci-après: trust B._) dont le contribuable et sa famille seraient les bénéficiaires. En septembre 1991, X._ et l'Administration cantonale sont convenus de ce que le trust révocable détenant 55 % du produit de la vente serait transparent, de sorte que son revenu et ses avoirs seraient ajoutés au revenu et à la fortune du contribuable. La dotation du trust irrévocable détenant les 45 % du produit de vente ne serait pas imposée en Suisse et le revenu ainsi que la fortune de ce trust ne seraient pas imposables en Suisse tant qu'ils ne seraient pas distribués à X._ ou à des membres de sa famille. En cas de distribution, les montants seraient soumis à l'impôt sur la fortune et les revenus afférents imposés à Genève. A.c. Dans ses déclarations fiscales 1995 à 2001-B, X._ a mentionné un emprunt auprès du Trust A._ qui lui générait des intérêts oscillant, selon les années fiscales, entre 35'894 fr. et 268'204 fr. pour une dette allant de 0 fr. à 9'208'330 fr. L'intéressé a également indiqué, dans ses déclarations fiscales 1995 à 2000, une participation dans la société C._ SA (ci-après: C._), pour laquelle il a mentionné une valeur de 0 fr. pour les années 1995 et 1996, alors que, dans les quatre déclarations suivantes, il a laissé vide la colonne relative à la valeur de cette participation. Dans sa déclaration 2001-B, X._ n'a signalé ni sa participation dans C._ ni la vente d'une partie de celle-ci. Dans aucune des déclarations fiscales de 1995 à 2001-B, le contribuable n'a mentionné détenir des actions de la Banque D._ (ci-après: la banque D._). A.d. Entre décembre 1995 et mai 1999, X._ s'est vu notifier des bordereaux provisoires et rectificatifs en matière d'ICC pour les années 1995 à 1998, et des bordereaux en matière d'IFD pour les périodes fiscales 1995-1996 et 1997-1998. Certains ont fait l'objet de réclamations. Le 20 décembre 1999, l'Administration cantonale a informé X._ de l'ouverture de procédures de vérification et de soustraction d'impôts pour l'ICC 1998 et l'IFD 1997-1998. Le 19 septembre 2000, ces procédures ont été étendues à l'ICC et à l'IFD des années 1995 à 1998 et, le 16 juillet 2001, à l'ICC et à l'IFD 1999 et 2000. Ces procédures étaient liées en substance aux emprunts auprès du Trust A._, à la valeur des participations dans la société C._ et aux actions de la Banque D._ non déclarées. S'en sont suivies plusieurs années de procédures et de contrôles, ainsi que de multiples échanges de courriers. Diverses décisions de taxation ordinaire et extraordinaire, ainsi que des amendes pour soustraction et tentatives de soustraction fiscale, tant en matière d'ICC que d'IFD relatives aux périodes fiscales allant de 1995 à 2001-B ont été notifiées par l'Administration cantonale à X._, qui a formé des réclamations à leur encontre. B. Par décisions sur réclamation du 27 octobre 2008, l'Administration cantonale a maintenu les rappels d'impôts ICC 1995 et IFD 1995-1996 de même que 1997-1998, ainsi que les taxations ordinaires IFD 2001-B et ICC 2001-B. Elle a modifié en défaveur du contribuable les taxations ICC 1998 à 2000 et IFD 1999-2000, alors qu'elle a rectifié en faveur de l'intéressé les rappels d'impôts ICC 1996 et 1997. Les amendes pour soustraction d'impôts ICC 1995 à 1997 et IFD 1995 à 1998 et pour tentative de soustraction d'impôts ICC 1998 à 2000 et 2001-B, et IFD 1999-2000 et 2001-B ont été maintenues dans leur principe, mais leurs montants ont été modifiés sur la base des nouveaux bordereaux. A l'encontre de ces décisions sur réclamation, X._ a recouru, le 26 novembre 2008, auprès des anciennes commissions cantonales de recours en matière d'impôts et de l'impôt fédéral direct (devenues, dès le 1er janvier 2009, la Commission cantonale de recours en matière administrative et, depuis le 1er janvier 2011, le Tribunal administratif de première instance du canton de Genève; ci-après le TAPI). Le 30 août 2011, X._ a demandé à être personnellement entendu par le TAPI, qui n'a pas donné suite à cette requête. Par jugement du 27 octobre 2011 concernant tant l'IFD que les ICC 1995 à 2001-B, le TAPI a partiellement admis le recours. Il a retenu que la contestation du principe des amendes pour tentative de soustraction fiscale était nouvelle et donc irrecevable. Le rappel d'impôt IFD 1995 et l'amende y relative, ainsi que les amendes pour soustraction consommée concernant l'ICC 1995 à 1997 étaient pour leur part prescrits. Pour le surplus, il a renvoyé le dossier à l'Administration cantonale pour nouvelles décisions dans le sens des considérants. Le 6 décembre 2011, X._ a recouru à l'encontre de ce jugement auprès de la Chambre administrative de la Cour de Justice de la République et canton de Genève (ci-après: la Cour de Justice) en concluant à son annulation et au renvoi de la cause au TAPI pour qu'il procède à son audition. Le contribuable demandait en outre l'annulation des amendes pour tentative de soustraction, des rappels d'impôt et des amendes pour soustraction relatives aux années 1995 à 1997 en lien avec la valeur des actions C._, des amendes pour tentative de soustraction portant sur les années 1998 à 2001-B en relation avec les actions C._, ainsi que du rappel d'impôt et des amendes portant sur les actions de la banque D._. Les reprises des intérêts et de sa dette envers le trust A._ devaient aussi être annulées et, à titre subsidiaire, les distributions du trust A._ déclarées pour les périodes fiscales 1999, 2000 et 2001-B devaient être soustraites du revenu imposable. Par la suite, le contribuable a fait valoir la prescription pour diverses amendes et taxations. Par arrêt du 26 mars 2013, la Cour de Justice a admis partiellement le recours formé par X._ à l'encontre du jugement du 6 décembre 2011. Considérant que les rappels d'impôts IFD 1996 et 1997, ainsi que les amendes ICC 1998 à 2001-B pour tentative de soustraction d'impôts étaient prescrits, elle a annulé le jugement attaqué et les décisions sur réclamations, ainsi que les bordereaux en ce qu'ils concernaient ces rappels et amendes. Elle a également annulé les reprises relatives au prétendu prêt avec le trust A._ contenues dans les rappels d'impôts IFD 1998 et ICC 1995 à 1997, renvoyant le dossier à l'Administration fiscale cantonale pour nouvelles décisions concernant lesdits rappels. Le jugement attaqué a été confirmé pour le surplus. C. A l'encontre de l'arrêt du 26 mars 2013, tant X._ (causes 2C_416 et 2C_417/2013) que l'Administration cantonale (causes 2C_446 et 2C_447/2013) forment un recours en matière de droit public au Tribunal fédéral. C.a. X._ (ci-après: le recourant 1 ou le contribuable) conclut à l'annulation de l'arrêt attaqué, des rappels d'impôts et des amendes ainsi qu'au renvoi de la cause au TAPI pour qu'il procède à son audition avant de rendre une nouvelle décision s'agissant des rappels d'impôts et des amendes; pour le surplus, il demande le renvoi de la cause à la Cour de Justice pour complément d'instruction et nouvelle décision dans le sens des considérants. La Cour de Justice n'a pas présenté d'observations, s'en rapportant à justice quant à la recevabilité du recours et persistant dans les considérants et le dispositif de son arrêt. Au terme de ses déterminations, l'Administration cantonale propose de rejeter le recours, à l'instar de l'Administration fédérale des contributions (ci-après: l'Administration fédérale). Le recourant 1 a exercé son droit à la réplique, tout en maintenant la position et les conclusions figurant dans son recours. C.b. Au terme de son mémoire de recours, l'Administration cantonale (ci-après: la recourante 2 ou l'Administration cantonale) conclut à l'annulation de l'arrêt attaqué en tant qu'il juge que le rappel d'impôt IFD 1997 ainsi que l'amende pour tentative de soustraction ICC 2001-B sont prescrits et qu'il annule le rappel d'impôt IFD 1998 en lien avec le prêt accordé par le trust A._. La Cour de Justice n'a pas présenté d'observations, s'en rapportant à justice quant à la recevabilité du recours et persistant dans les considérants et le dispositif de son arrêt. X._ s'est déterminé et a conclu au rejet du recours dans la mesure de sa recevabilité s'agissant de la prescription du rappel d'impôt IFD 1997 et du principe du rappel d'impôt IFD 1997 et 1998 en lien avec les intérêts du prêt accordé par le trust A._. Il s'en rapporte à l'appréciation du Tribunal fédéral s'agissant de la prescription de l'amende pour tentative de soustraction d'impôt pour l'ICC 2001-B et propose le renvoi du dossier à la Cour de Justice pour complément et nouvelle décision sur ce point. L'Administration fédérale a pris position et conclut à l'admission du recours formé par l'Administration cantonale.