Faits : A. X._, de profession restaurateur, est domicilié dans le canton de Genève. Il est divorcé et père de deux enfants. Après avoir initialement exercé son métier en raison individuelle, le 23 septembre 2005 il a transféré ses actifs et passifs à la société Y._ SA (ci-après: la Société). Celle-ci, devenue en mars 2016 Z._ SA, avait pour but "l'exploitation de cafés-restaurants, hôtels et autres établissements publics, notamment l'exploitation de Y._". X._ a été le fondateur, actionnaire unique et administrateur de la Société jusqu'en mai 2011. B. B.a. Le 4 avril 2014, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale) a informé X._ de l'ouverture d'une procédure en rappel d'impôt et en soustraction d'impôt à son encontre pour les périodes fiscales 2007 à 2011, ainsi que d'une procédure pour tentative de soustraction pour l'année 2012, en relation avec la découverte d'un compte bancaire non déclaré par le contribuable, intitulé "A._". Après avoir obtenu des informations ultérieures à ce sujet, l'Administration cantonale a étendu la procédure aux périodes fiscales 2004 à 2006. Le 17 octobre 2014, cette autorité a notifié au contribuable des décisions de rappel d'impôt, ainsi que des amendes pour soustraction d'impôt concernant l'impôt fédéral direct (ci-après: IFD) et les impôts cantonal et communal (ci-après: ICC) 2004 à 2011. L'Administration cantonale a constaté que le solde du compte bancaire non déclaré précité devait être ajouté à la fortune de X._. En outre, celui-ci avait encaissé sur ledit compte des montants en relation avec sa profession de restaurateur. Ceux-ci devaient être réintégrés au titre de bénéfices de l'activité indépendante du contribuable pour les périodes fiscales 2004 et 2005. Concernant les périodes fiscales 2006 à 2011, l'intéressé avait encaissé des montants appartenant à la Société directement sur un compte privé sans les comptabiliser dans les produits de celle-ci. Il avait donc bénéficié d'avantages appréciables en argent imposables en tant que rendement de sa fortune mobilière. Le total des suppléments d'impôt ICC et IFD à payer pour les années 2004 à 2011 s'élevait à 588'848 fr. 50 et le total des amendes à 441'629 fr. Le 17 novembre 2014, X._ a formé réclamation contre les bordereaux de reprise et d'amende du 17 octobre 2014, en demandant notamment de pouvoir déduire de sa fortune les dettes fiscales liées aux rappels d'impôt et de son revenu les intérêts y relatifs. Par décisions sur réclamation du 13 mars 2015, l'Administration cantonale a maintenu inchangés les bordereaux querellés ainsi que les amendes. B.b. Le 10 avril 2015, X._ a recouru contre ces décisions devant le Tribunal administratif de première instance du canton de Genève (ci-après: le TAPI). Le 10 novembre 2015, après avoir implicitement joint les causes, le TAPI a partiellement admis le recours et renvoyé le dossier à l'Administration cantonale pour qu'elle notifie au contribuable de nouveaux bordereaux de rappels d'impôt et d'amendes concernant l'ICC 2004 à 2011. Les bordereaux relatifs à l'IFD demeuraient par contre inchangés. Le TAPI a notamment considéré que chaque supplément d'impôt pour les années 2004 à 2011 était déductible de la fortune imposable de X._ dans l'année concernée par ledit supplément. En revanche, les intérêts moratoires encore dus sur les rappels d'impôt n'étaient déductibles de la fortune imposable de l'intéressé que pour l'année fiscale 2014, à l'exclusion des années sur lesquelles portaient les rappels d'impôt en question. Il en allait de même de la déduction desdits intérêts sur le plan de l'impôt sur le revenu, qui ne pouvait être effectuée que pour l'année fiscale 2014. B.c. Le 10 décembre 2015, X._ a interjeté recours contre le jugement du TAPI auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après: la Cour de justice). Le 29 février 2016, invitée à se déterminer sur le recours, l'Administration cantonale a conclu au rejet de celui-ci et a notamment requis qu'il soit procédé à l'instruction de certains éléments factuels nouveaux dont elle avait eu connaissance en cours de procédure, à savoir l'existence de huit autres comptes non déclarés par le contribuable. Par arrêt du 24 janvier 2017, la Cour de justice a déclaré irrecevable la requête de l'Administration cantonale relative aux nouveaux éléments de fait avancés par celle-ci et a partiellement admis le recours de X._ s'agissant de la déduction des intérêts moratoires relatifs aux suppléments d'impôt. L'autorité précédente a considéré que ces intérêts devaient être déduits de la fortune imposable du contribuable, respectivement de son revenu, pour chaque année fiscale concernée par les rappels d'impôt litigieux. Les juges cantonaux ont également relevé que X._ ne contestait ni le principe ni la quotité des amendes qui lui avaient été infligées, mais que celles-ci devaient être modifiées "compte tenu de l'admission des griefs relatifs aux intérêts liés aux rappels d'impôt". La Cour de justice a ainsi annulé le jugement du TAPI "en tant qu'il refuse la déduction des intérêts liés aux suppléments et rappels d'impôt pour chaque année fiscale sur lesquelles porte le rappel d'impôt", confirmé ledit jugement pour le surplus et renvoyé la cause à l'Administration cantonale "afin qu'elle établisse des nouveaux bordereaux de rappel d'impôt ICC et IFD 2004 à 2011 et d'amende ICC et IFD 2004 à 2011". C. A l'encontre de l'arrêt du 24 janvier 2017, l'Administration cantonale dépose un recours en matière de droit public auprès du Tribunal fédéral. Elle conclut, sous suite de frais, à l'annulation de l'arrêt entrepris et au renvoi de la cause à la Cour de justice "pour nouveaux jugements incluant les éléments non déclarés apparus tardivement et confirmant le raisonnement de l'administration fiscale cantonale genevoise dans le sens de son argumentaire ci-dessus développé". La Cour de justice renonce à transmettre des observations et persiste dans les considérants et le dispositif de son arrêt. L'intimé n'a pas déposé de réponse. L'Administration cantonale a formulé des observations finales. L'Administration fédérale des contributions ne s'est pas déterminée. D. En parallèle, X._ a également déposé un recours en matière de droit public contre l'arrêt du 24 janvier 2017, que le Tribunal fédéral a rejeté par arrêt du 7 mars 2017 (cause 2C_232/2017).