Faits: A. A._, né en 1957, célibataire sans enfants, travaille depuis 1982 pour la société B._ à Genève. Pour les périodes fiscales 1999, 2000, 2001-B, 2002 et 2003, il a fait l'objet de taxations ordinaires dans le canton de Genève. Par courrier du 30 juin 2004, l'Administration fiscale cantonale (ci-après l'Administration cantonale) a ouvert une procédure de rappel d'impôt contre A._ pour les périodes fiscales 1999-2003 tant pour les impôts cantonal et communal (ci-après ICC) que pour l'impôt fédéral direct (ci-après IFD). Cette procédure était motivée par la découverte d'une activité d'accompagnateur et de moniteur de plongée qui ne pouvait être considérée comme un hobby, et de comptes bancaires qui n'avaient pas été déclarés. Les bordereaux rectificatifs ont été notifiés au contribuable le 23 décembre 2004. L'Administration cantonale ayant maintenu les taxations dans ses décisions sur réclamation du 28 février 2005, deux procédures de recours ont été ouvertes, l'une auprès de la Commission cantonale de recours de l'impôt fédéral direct (ci-après la Commission IFD), l'autre auprès de la Commission cantonale de recours en matière d'impôt (ci-après la Commission ICC), remplacée depuis le 1er janvier 2009 par la Commission cantonale de recours en matière administrative, et, depuis le 1er janvier 2011, par le Tribunal administratif de première instance (ci-après le TAPI). La Commission IFD a rejeté le recours le 26 septembre 2007. Sur recours, le Tribunal administratif, devenu depuis le 1er janvier 2011 la Chambre administrative de la Cour de justice (ci-après la Cour de justice), a annulé la décision de la Commission IFD par arrêt du 8 juin 2010. Il a été retenu que l'organisation des croisières par le contribuable ne pouvait être qualifiée d'activité lucrative indépendante et que le produit de la vente de ses titres n'était pas imposable. L'Administration cantonale a renoncé à recourir contre cet arrêt. B. La procédure devant la Commission ICC, suspendue jusqu'à droit connu sur le recours relatif à l'IFD, a été reprise en septembre 2010. L'Administration cantonale, en se fondant sur des déclarations du contribuable lors de la comparution personnelle qui avait eu lieu dans le cadre de la procédure devant l'ancien Tribunal administratif, a conclu à une reformatio in pejus relative à la fortune non déclarée et aux revenus y relatifs. Par jugement du 31 janvier 2011, le TAPI a annulé la décision sur réclamation du 28 février 2005 relative aux taxations ICC pour les années 1999-2003. En ce qui concerne l'imposition du revenu, le TAPI a retenu que les conclusions de l'arrêt du 8 juin 2010 relatif à l'IFD s'appliquaient également en matière d'ICC et admis le recours. En ce qui concerne l'imposition de la fortune du contribuable, il a en revanche considéré que la fortune imposable de ce dernier devait être augmentée de CHF 200'000.- pour les taxations ICC 1999, 2000 et 2001-B, de CHF 354'147.- pour celle de 2002, et de CHF 456'250.- pour celle de 2003. L'Administration cantonale a recouru contre ce jugement. Elle demandait qu'une amende soit prononcée à l'encontre du contribuable, que l'état de sa fortune soit complété et que les reprises de revenu soient augmentées des revenus de la fortune mobilière non déclarée de A._. Par arrêt du 15 mai 2012, la Cour de justice a partiellement admis le recours de l'Administration cantonale, annulé le jugement du TAPI du 31 janvier 2011, renvoyé le dossier au TAPI afin qu'il statue sur la question de l'amende dans le sens des considérants, et renvoyé la cause à l'Administration cantonale pour qu'elle établisse de nouveaux bordereaux rectificatifs dans le sens des considérants. Dans ces derniers, elle a notamment retenu qu'il y avait lieu de comptabiliser au titre de revenu du contribuable les rendements nets de sa fortune non déclarée, les rendements bruts ayant déjà fait l'objet d'un impôt anticipé, à savoir des rendements de CHF 461.66 en 1998, CHF 1'732.55 en 1999, CHF 2'045.53 en 2000, CHF 2'903.04 en 2001, CHF 3'027.50 en 2002 et CHF 568.83 en 2003. C. Par acte du 22 juin 2012, l'Administration cantonale dépose un recours en matière de droit public auprès du Tribunal fédéral à l'encontre de l'arrêt du 15 mai 2012. Elle conclut, sous suite de frais, à ce que l'arrêt attaqué soit annulé en tant qu'il n'impose les revenus de la fortune mobilière de A._ qu'à concurrence de 65 %, soit sans tenir compte des 35 % d'impôt anticipé prélevés, à ce qu'il soit dit qu'il y a lieu de prendre en considération les rendements bruts de la fortune mobilière déclarée et non déclarée, à savoir CHF 1'874.30 pour la période fiscale 1999, CHF 3'510.85 pour celle de 2000, CHF 5'148.73 pour la période fiscale 2001-B, CHF 5'400.91 pour celle 2002 et CHF 1'471.84 pour celle de 2003, et à ce que l'arrêt attaqué soit confirmé pour le surplus. L'intimé a répondu par acte du 4 septembre 2012. Il conclut au rejet du recours, sous suite de frais et dépens. La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions se rallie aux conclusions formulées par l'Administration cantonale.