Faits:
A. A._, né en 1957, célibataire sans enfants, travaille depuis 1982 pour la société B._ à Genève. Pour les périodes fiscales 1999, 2000, 2001-B, 2002 et 2003, il a fait l'objet de taxations ordinaires dans le canton de Genève.
Par courrier du 30 juin 2004, l'Administration fiscale cantonale (ci-après l'Administration cantonale) a ouvert une procédure de rappel d'impôt contre A._ pour les périodes fiscales 1999-2003 tant pour les impôts cantonal et communal (ci-après ICC) que pour l'impôt fédéral direct (ci-après IFD). Cette procédure était motivée par la découverte d'une activité d'accompagnateur et de moniteur de plongée qui ne pouvait être considérée comme un hobby, et de comptes bancaires qui n'avaient pas été déclarés.
Les bordereaux rectificatifs ont été notifiés au contribuable le 23 décembre 2004. L'Administration cantonale ayant maintenu les taxations dans ses décisions sur réclamation du 28 février 2005, deux procédures de recours ont été ouvertes, l'une auprès de la Commission cantonale de recours de l'impôt fédéral direct (ci-après la Commission IFD), l'autre auprès de la Commission cantonale de recours en matière d'impôt (ci-après la Commission ICC), remplacée depuis le 1er janvier 2009 par la Commission cantonale de recours en matière administrative, et, depuis le 1er janvier 2011, par le Tribunal administratif de première instance (ci-après le TAPI).
La Commission IFD a rejeté le recours le 26 septembre 2007. Sur recours, le Tribunal administratif, devenu depuis le 1er janvier 2011 la Chambre administrative de la Cour de justice (ci-après la Cour de justice), a annulé la décision de la Commission IFD par arrêt du 8 juin 2010. Il a été retenu que l'organisation des croisières par le contribuable ne pouvait être qualifiée d'activité lucrative indépendante et que le produit de la vente de ses titres n'était pas imposable. L'Administration cantonale a renoncé à recourir contre cet arrêt.
B. La procédure devant la Commission ICC, suspendue jusqu'à droit connu sur le recours relatif à l'IFD, a été reprise en septembre 2010. L'Administration cantonale, en se fondant sur des déclarations du contribuable lors de la comparution personnelle qui avait eu lieu dans le cadre de la procédure devant l'ancien Tribunal administratif, a conclu à une reformatio in pejus relative à la fortune non déclarée et aux revenus y relatifs.
Par jugement du 31 janvier 2011, le TAPI a annulé la décision sur réclamation du 28 février 2005 relative aux taxations ICC pour les années 1999-2003. En ce qui concerne l'imposition du revenu, le TAPI a retenu que les conclusions de l'arrêt du 8 juin 2010 relatif à l'IFD s'appliquaient également en matière d'ICC et admis le recours. En ce qui concerne l'imposition de la fortune du contribuable, il a en revanche considéré que la fortune imposable de ce dernier devait être augmentée de CHF 200'000.- pour les taxations ICC 1999, 2000 et 2001-B, de CHF 354'147.- pour celle de 2002, et de CHF 456'250.- pour celle de 2003.
L'Administration cantonale a recouru contre ce jugement. Elle demandait qu'une amende soit prononcée à l'encontre du contribuable, que l'état de sa fortune soit complété et que les reprises de revenu soient augmentées des revenus de la fortune mobilière non déclarée de A._.
Par arrêt du 15 mai 2012, la Cour de justice a partiellement admis le recours de l'Administration cantonale, annulé le jugement du TAPI du 31 janvier 2011, renvoyé le dossier au TAPI afin qu'il statue sur la question de l'amende dans le sens des considérants, et renvoyé la cause à l'Administration cantonale pour qu'elle établisse de nouveaux bordereaux rectificatifs dans le sens des considérants. Dans ces derniers, elle a notamment retenu qu'il y avait lieu de comptabiliser au titre de revenu du contribuable les rendements nets de sa fortune non déclarée, les rendements bruts ayant déjà fait l'objet d'un impôt anticipé, à savoir des rendements de CHF 461.66 en 1998, CHF 1'732.55 en 1999, CHF 2'045.53 en 2000, CHF 2'903.04 en 2001, CHF 3'027.50 en 2002 et CHF 568.83 en 2003.
C. Par acte du 22 juin 2012, l'Administration cantonale dépose un recours en matière de droit public auprès du Tribunal fédéral à l'encontre de l'arrêt du 15 mai 2012. Elle conclut, sous suite de frais, à ce que l'arrêt attaqué soit annulé en tant qu'il n'impose les revenus de la fortune mobilière de A._ qu'à concurrence de 65 %, soit sans tenir compte des 35 % d'impôt anticipé prélevés, à ce qu'il soit dit qu'il y a lieu de prendre en considération les rendements bruts de la fortune mobilière déclarée et non déclarée, à savoir CHF 1'874.30 pour la période fiscale 1999, CHF 3'510.85 pour celle de 2000, CHF 5'148.73 pour la période fiscale 2001-B, CHF 5'400.91 pour celle 2002 et CHF 1'471.84 pour celle de 2003, et à ce que l'arrêt attaqué soit confirmé pour le surplus.
L'intimé a répondu par acte du 4 septembre 2012. Il conclut au rejet du recours, sous suite de frais et dépens.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions se rallie aux conclusions formulées par l'Administration cantonale.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (cf. <ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 103).
1.1 Le litige concerne une procédure de rappel d'impôt ouverte par l'Administration cantonale à l'encontre de l'intimé et porte désormais sur la détermination du revenu de ce dernier en matière d'ICC. L'imposition du revenu des personnes physiques relève du droit public et ne tombe sous le coup d'aucune des exceptions prévues à l'<ref-law>, de sorte que la voie du recours en matière de droit public est en principe ouverte sur la base de l'<ref-law>. L'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14) confirme du reste expressément cette voie de droit, l'imposition du revenu étant une matière harmonisée (cf. <ref-law>).
1.2 Le présent litige concerne les périodes fiscales 1999 à 2003. Aux termes de l'<ref-law>, les cantons devaient adapter leur législation à la loi sur l'harmonisation fiscale dans les huit ans qui suivaient l'entrée en vigueur de cette loi, soit jusqu'au 1er janvier 2001, puisque la LHID est entrée en vigueur le 1er janvier 1993. Le canton de Genève a adapté sa législation avec effet au 1er janvier 2001. Il convient d'examiner l'incidence de ce changement de législation sur la qualité pour recourir de l'Administration cantonale.
1.2.1 La qualité pour recourir des collectivités publiques est visée en premier lieu par l'<ref-law>. Selon cette disposition, ont en particulier qualité pour recourir les autorités auxquelles une loi fédérale accorde un droit de recours (cf. art. 89 al. 2 let. d LTF). Aux termes de l'<ref-law>, l'administration fiscale cantonale a le droit de recourir contre les décisions fondées sur le droit harmonisé (cf. <ref-law>). En application de cette disposition, l'Administration cantonale est par conséquent habilitée à recourir en ce qui concerne les périodes fiscales postérieures à la date à laquelle le canton de Genève a adapté sa législation à la LHID, soit en l'espèce les années 2001 à 2003 (cf. <ref-ruling> consid. 1.1 et 1.4 p. 188 ss; <ref-ruling> consid. 2.3 et 2.6.3 p. 128 ss).
1.2.2 En revanche, la qualité pour recourir fondée sur l'art. 89 al. 2 let. d LTF fait défaut à l'Administration cantonale en ce qui concerne les périodes fiscales antérieures au 1er janvier 2001. En effet, la qualité pour recourir prévue à l'<ref-law> se rapporte exclusivement à la période postérieure à cette date (cf. ATF <ref-ruling> consid. 2.5 et 2.6.3 p. 129 ss; <ref-ruling> consid. 2d p. 592 s.). Par ailleurs, aucune autre disposition de droit fédéral n'accorde un droit de recours au canton en matière d'imposition du revenu. Reste à savoir si l'Administration cantonale peut recourir sur la base d'une autre disposition de la LTF.
1.2.3 Selon l'art. 89 al. 2 let. c LTF, la qualité pour recourir est par ailleurs reconnue aux collectivités publiques qui invoquent la violation de garanties constitutionnelles. Cette disposition s'applique avant tout aux communes qui ont qualité pour les plaindre d'une violation de leur autonomie (cf. <ref-ruling> consid. 1 p. 93). Un canton ne peut en revanche pas invoquer cette disposition pour attaquer une décision de son propre tribunal administratif (cf. <ref-ruling> consid. 2.4.1 p. 405 s.).
1.2.4 Il convient donc d'examiner dans quelle mesure l'Administration cantonale peut fonder sa qualité pour recourir sur l'<ref-law>. En application de cette disposition, la qualité pour recourir peut être reconnue, de manière restrictive cependant, à une collectivité publique lorsqu'elle est touchée dans ses prérogatives de puissance publique et dispose d'un intérêt public propre digne de protection à l'annulation ou à la modification de l'acte attaqué (cf. <ref-ruling> consid. 1.4 p. 268 s.; <ref-ruling> consid. 1.3 p. 46 s.). Dans les affaires fiscales, en particulier dans le domaine harmonisé des impôts directs, le législateur a déjà fait en sorte, en établissant la liste des autorités ayant qualité pour recourir au sens de l'art. 89 al. 2 let. d LTF, que les collectivités puissent si nécessaire faire respecter leur point de vue par les voies de droit (cf. supra consid. 1.2.1). La qualité pour recourir de la collectivité publique fondée sur la clause générale de l'<ref-law> apparaît dans ces cas-là comme inutile et doit en règle générale être écartée (cf. <ref-ruling> consid. 4.2 p. 278 ss).
Au vu de ce qui précède, la qualité pour recourir fait défaut à l'Administration cantonale en ce qui concerne les périodes fiscales antérieures à la date à laquelle les cantons devaient adapter leur législation à la LHID. Le recours est par conséquent irrecevable en tant qu'il porte sur les périodes fiscales 1999 et 2000.
1.3 D'après l'<ref-law>, le recours est recevable contre les décisions finales, à savoir celles qui mettent fin à la procédure. En ce qui concerne les arrêts de renvoi, ils sont qualifiés de décisions incidentes contre lesquelles le recours en matière de droit public auprès du Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF. Toutefois lorsque l'autorité précédente à qui est renvoyée la cause ne dispose plus d'aucune marge d'appréciation et que le renvoi n'a pour objet plus que la mise en oeuvre d'un calcul exigé par l'autorité de recours, la décision équivaut à une décision finale (cf. ATF <ref-ruling> consid. 1.3 p. 127 s.).
En l'espèce, la Cour de justice a renvoyé la cause au TAPI pour qu'il statue sur la question de l'amende et à l'Administration cantonale pour qu'elle établisse de nouveaux bordereaux rectificatifs en comptabilisant les rendements nets et non les rendements bruts de la fortune non déclarée du contribuable. Sur ce dernier point, l'arrêt attaqué constitue une décision partielle au sens de l'<ref-law>, car son sort est indépendant de celui de l'amende pour soustraction fiscale, question que l'arrêt attaqué renvoie du reste à une autre autorité. L'Administration cantonale ne dispose plus d'aucune marge de man?uvre, puisqu'elle doit établir les nouveaux bordereaux rectificatifs selon la méthode de calcul décidée par la Cour de justice, soit sur la base du rendement net. Il s'agit donc, pour l'Administration cantonale, d'une décision finale partielle, contre laquelle elle peut recourir auprès du Tribunal fédéral.
1.4 Le recours est par ailleurs dirigé contre une décision rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Il a en outre été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>). Sous les réserves précitées, il convient donc d'entrer en matière.
2. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Cependant, lorsque les dispositions de la LHID laissent une marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal est limité à l'arbitraire (cf. <ref-ruling> consid. 2 p. 209 s.), dont la violation doit être motivée conformément aux exigences accrues de l'<ref-law>.
3. Le recours porte exclusivement sur la question de savoir si, dans le cadre d'une procédure de rappel d'impôt en matière d'ICC, les rendements de la fortune mobilière non déclarée du contribuable doivent être pris en compte à raison de leur montant brut ou net, à savoir avec ou sans prise en considération de l'impôt anticipé de 35 % retenu.
3.1 En l'absence d'une réglementation expresse contraire, le droit applicable à la taxation est celui en vigueur pendant la période fiscale en cause (cf. arrêt 2A.209/2005 du 3 novembre 2005 consid. 3.2). Le rappel d'impôt relevant du droit matériel, le droit applicable obéit aux mêmes règles (cf. arrêt 2P.411/1998 du 31 janvier 2000 consid. 10a et 10d/aa).
En l'espèce, les périodes fiscales 2001 à 2003 sont soumises à la LHID ainsi qu'aux lois genevoises suivantes: loi sur l'imposition des personnes physiques - Objet de l'impôt - Assujettissement à l'impôt du 22 septembre 2000 (aLIPP-I; RS-GE D 3 11), loi sur l'imposition dans le temps des personnes physiques du 31 août 2000 (aLIPP-II; RS-GE D 3 12), loi sur l'imposition des personnes physiques - Impôt sur le revenu du 22 septembre 2000 (aLIPP-IV; RS-GE D 3 14) et loi sur l'imposition des personnes physiques - Détermination du revenu net - Calcul de l'impôt et rabais d'impôt - Compensation des effets de la progression à froid du 22 septembre 2000 (aLIPP-V; RS-GE D 3 16). Aux termes de l'art. 72 al. 1 de la loi genevoise sur l'imposition des personnes physiques du 27 septembre 2009 (LIPP; RS-GE D 3 08), la LIPP s'applique en effet pour la première fois pour la période fiscale 2010, les impôts relatifs aux périodes fiscales antérieures demeurant régis par les dispositions de l'ancien droit.
3.2 Aux termes de l'<ref-law>, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques, en particulier le produit d'une activité lucrative dépendante ou indépendante, le rendement de la fortune y compris la valeur locative de l'habitation du contribuable dans son propre immeuble, les prestations d'institutions de prévoyance professionnelle ainsi que les rentes viagères. Par ailleurs, les dépenses nécessaires à l'acquisition du revenu et les déductions générales sont défalquées de l'ensemble des revenus imposables (art. 9 al. 1LHID). Les déductions générales admises sont énumérées exhaustivement à l'<ref-law> (cf. <ref-law>). La LHID ne définit en revanche pas ce qu'il faut entendre par le rendement de la fortune mobilière.
L'art. 1 aLIPP-IV prévoit que l'impôt sur le revenu a pour objet tous les revenus, prestations et avantages du contribuable, qu'ils soient uniques ou périodiques, en espèces ou en nature et quelle qu'en soit l'origine, avant déductions. Selon l'art. 6 al. 1 aLIPP-IV, est imposable le rendement de la fortune mobilière, en particulier les intérêts d'avoirs, créances, obligations, dépôts d'argent payés par le débiteur de la prestation (let. a). Les art. 2 à 8 aLIPP-V précisent les déductions qui peuvent être opérées. Selon l'art. 6 al. 3 aLIPP-V en particulier, sont déduits du revenu les frais effectifs d'administration de la fortune mobilière imposable, ainsi que les impôts à la source étrangers qui ne peuvent être ni remboursés ni imputés. Le droit cantonal applicable correspond ainsi à la LHID. Sauf à préciser que les intérêts d'avoirs, créances, obligations, dépôts d'argent payés par le débiteur de la prestation constituent des rendements de la fortune mobilière imposables, il ne donne pas plus de précisions que la LHID sur ce qu'il faut entendre par ce terme.
3.3 Lorsque la LHID est muette sur un sujet, son silence ne saurait, à lui seul, être compris comme conférant une marge d'autonomie aux cantons, en particulier lorsqu'il porte sur un point relevant d'un domaine dont l'harmonisation est expressément prévue par la Constitution fédérale (<ref-ruling> consid. 4.1 p. 70 s.). L'art. 129 Cst. consacre le principe de l'harmonisation fiscale. Le constituant a prévu une harmonisation tant sur le plan horizontal (entre les cantons) que sur le plan vertical (entre la Confédération et les cantons; cf. <ref-ruling> consid. 5.2 p. 71 ss; arrêt 2C_809/2011 du 29 juillet 2012 consid. 2.2). Le respect de l'harmonisation verticale implique d'assurer une concordance entre les impôts directs de la Confédération et des cantons. La LIFD constitue ainsi un élément important dans l'interprétation du droit cantonal harmonisé. Il n'est en effet pas concevable que le même revenu soit imposé en droit fédéral selon des principes différents du droit cantonal (cf. arrêts 2C_545/2009 du 27 avril 2010 consid. 5.3; 2A.100/2005 du 20 septembre 2005 consid. 2.2).
Selon l'<ref-law>, l'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques. Le rendement de la fortune mobilière est imposable, en particulier les intérêts d'avoirs (<ref-law>). Le revenu net se calcule en défalquant du total des revenus imposables les déductions générales et les frais admis par la loi (<ref-law>). Enfin, selon l'<ref-law>, le contribuable qui possède une fortune mobilière privée peut déduire les frais d'administration par des tiers et les impôts à la source étrangers qui ne peuvent être ni remboursés ni imputés. La LIFD contient ainsi des règles comparables à la LHID et au droit genevois, de sorte que l'on peut s'inspirer de leur interprétation dans l'application du droit cantonal harmonisé.
3.4 Le revenu n'est imposable que s'il est réalisé. Cette condition essentielle constitue le fait générateur de l'imposition du revenu (cf. XAVIER OBERSON, Droit fiscal suisse, 4e éd. 2012, § 7 n° 12). La réalisation détermine le point d'entrée de l'avantage économique dans la sphère fiscale du contribuable. Tant que l'avantage économique n'est pas réalisé, il demeure une expectative non - encore - imposable (cf. YVES NOËL, in YERSIN/NOËL (ÉD.), Commentaire romand de la LIFD, 2008, n°s 27 et 28 ad <ref-law>). Selon la jurisprudence, un revenu est réalisé lorsqu'une prestation est faite au contribuable ou que ce dernier acquiert une prétention ferme sur laquelle il a effectivement un pouvoir de disposition. En règle générale, l'acquisition d'une prétention est déjà considérée comme un revenu dans la mesure où son exécution ne paraît pas incertaine. Ce n'est que si cette exécution paraît d'emblée peu probable que le moment de la perception réelle de la prestation est pris en considération (cf. <ref-ruling> consid. 2e p. 26; arrêts 2C_351/2010 du 6 juillet 2011 consid. 3; 2C_640/2010 du 11 décembre 2010 consid. 4.1). Le caractère certain de l'exécution de la prestation ne saurait en revanche dépendre de la seule volonté du contribuable (cf. arrêt 2C_116/2010 du 21 juin 2010 consid. 2.3). Pour les revenus provenant d'un capital, il faut en principe se placer au moment où la prestation est échue (cf. arrêts 2C_94/2010 du 10 février 2011 consid. 3.1; 2A.114/2001 du 10 juillet 2001 consid. 3), soit le moment où le contribuable peut obtenir le remboursement de l'impôt anticipé en vertu de l'art. 21 al. 1 let. a de la loi fédérale sur l'impôt anticipé du 13 octobre 1965 (LIA; RS 642.21; cf. arrêt 2A.341/1993 du 6 novembre 1995 consid. 3b/bb).
3.5 L'impôt sur le revenu frappe le revenu net, après déduction des frais d'acquisition, des déductions générales et des déductions sociales (cf. NOËL, op. cit., n° 5 ad <ref-law>). Sont des frais d'acquisition du revenu les frais que le contribuable ne peut raisonnablement éviter et qui sont essentiellement occasionnés par la réalisation du revenu. En d'autres termes, il faut que la dépense soit économiquement nécessaire à l'obtention du revenu et que l'on ne puisse exiger du contribuable d'y renoncer (cf. <ref-ruling> consid. 3a p. 32; arrêt 477/2009 du 8 janvier 2010 consid. 3.2). Il s'agit de déduire de chaque catégorie de revenu brut les frais qui ont permis sa réalisation. Ces dépenses doivent donc être en lien de causalité directe avec l'acquisition du revenu concerné (cf. NOËL, op. cit., n° 10 ad <ref-law>).
3.6 En matière de rendement de la fortune mobilière, ce sont les intérêts bruts qui sont soumis à l'impôt sur le revenu dans la taxation ordinaire (cf. MARKUS REICH, in ZWEIFEL/ATHANAS, Kommentar zum schweizerischen Steuerrecht I/2a, 2e éd. 2008, n° 13 ad <ref-law>; FELIX RICHNER/WALTER FREI/ STEFAN KAUFMANN/ HANS ULRICH MEUTER, Handkommentar zum DBG, 2e éd. 2009, n° 22 ad <ref-law>). Seuls les impôts à la source étrangers qui ne peuvent être ni remboursés ni imputés peuvent être déduits (art. 6 al. 3 aLIPP-V et <ref-law>). En relation avec les impôts à la source étrangers, la doctrine relève que la déduction n'est pas inconditionnelle et qu'il appartient au contribuable de faire le nécessaire pour obtenir le remboursement ou l'imputation de l'impôt à la source étranger. A défaut, la déduction est perdue (cf. NICOLAS MERLINO, in YERSIN/NOËL (ÉD.), Commentaire romand de la LIFD, 2008, n° 7 ad <ref-law>; RICHNER/FREI/KAUFMANN/MEUTER, op. cit., n° 22 ad <ref-law>; BERNHARD ZWAHLEN, in ZWEIFEL/ATHANAS, Kommentar zum schweizerischen Steuerrecht I/2a, 2e éd. 2008, n° 6 ad <ref-law>).
Aucune réglementation expresse n'est en revanche prévue ni en droit genevois, ni dans la LHID ou la LIFD, en ce qui concerne l'éventuelle déduction, dans une procédure de rappel d'impôt, de l'impôt anticipé de droit suisse qui n'a pas été remboursé.
3.7 La Confédération perçoit un impôt anticipé sur les revenus de capitaux mobiliers (art. 132 al. 2 Cst.; <ref-law>). L'obligation fiscale incombe au débiteur de la prestation imposable (<ref-law>). Pour les revenus de capitaux mobiliers, la créance fiscale prend naissance au moment où échoit la prestation imposable (<ref-law>). Les personnes physiques ont droit au remboursement de l'impôt anticipé si elles étaient domiciliées en Suisse à l'échéance de la prestation imposable (<ref-law>). Cependant, celui qui, contrairement aux prescriptions légales, n'indique pas aux autorités fiscales compétentes un revenu grevé de l'impôt anticipé ou de la fortune d'où provient ce revenu, perd le droit au remboursement de l'impôt anticipé déduit de ce revenu (<ref-law>).
L'impôt anticipé, de par son mécanisme de prélèvement, a une fonction de garantie. Dans la mesure où il est remboursé aux contribuables qui déclarent correctement les rendements (bruts) frappés de l'impôt, sa perception poursuit donc un objectif de lutte contre la fraude fiscale. Les contribuables qui ne déclarent pas ces revenus sont privés, définitivement, du montant de l'impôt anticipé, bien qu'il ne s'agisse pas d'un prélèvement libératoire (cf. OBERSON, op. cit., § 14 n° 5). L'impôt anticipé devient ainsi un impôt véritable pour le contribuable qui n'a pas rempli correctement ses devoirs de déclaration (cf. MAJA BAUER-BALMELLI/MARKUS REICH, in ZWEIFEL/BEUSCH/BAUER-BALMELLI (ÉD.), Kommentar zum schweizerischen Steuerrecht - Bundesgesetz über die Verrechnungssteuer, 2e éd. 2012, n° 55 ad Vorbemerkungen; W. ROBERT PFUND, Die eidgenössische Verrechnungssteuer, vol. I, 1971, n° 8 ad Einleitung). En tant que charge définitive, l'impôt anticipé touche ainsi aussi bien le fraudeur chanceux que celui dont la tentative de soustraction fiscale a été découverte (cf. MAJA BAUER-BALMELLI, Der Sicherungszweck der Verrechnungssteuer, 2000, p. 185).
La prétention au remboursement de l'impôt anticipé naît au moment de l'échéance de la prestation imposable (cf. W. ROBERT PFUND/BERNHARD ZWAHLEN, Die eidgenössische Verrechnungssteuer, vol. II, 1985, n° 2.15 ad <ref-law>). La créance en restitution de l'impôt est de même nature que celle d'impôt: elle relève également du droit public et est étroitement liée à la créance d'impôt. La créance en restitution existe donc sitôt que les faits générateurs prévus par la loi surviennent. Les opérations d'ordre formel qui doivent encore être réalisées pour que le montant à restituer soit fixé et que son paiement puisse être exigé n'ont aucune incidence sur l'existence de la créance. Quant au fait que le créancier perd ses droits au remboursement de l'impôt anticipé s'il ne présente pas sa demande de remboursement dans les délais fixés par la loi ou s'il ne produit pas les pièces justificatives, il n'a pas non plus d'effet sur l'existence de la créance jusqu'à ce moment. La même conséquence est souvent prévue par les lois fiscales pour l'impôt; si l'autorité ne procède pas à la taxation du contribuable dans certains délais, le fisc perd sa créance, sans que cela mette en cause le principe que, jusqu'au moment de la péremption du droit de taxer, la créance a existé (cf. <ref-ruling> consid. 3 p. 378 s. et les références citées; arrêt 2C_116/2010 du 21 juin 2010 consid. 2.2).
Partant, le contribuable qui s'abstient de déclarer en temps utile le rendement frappé de l'impôt anticipé, renonce ainsi à réclamer le remboursement d'une prétention à laquelle il a droit. Le contribuable doit alors en supporter la conséquence, à savoir la double charge de l'impôt anticipé et des impôts directs. Même si celle-ci peut s'avérer lourde, elle ne viole aucune norme de droit fédéral (cf. arrêt du Tribunal fédéral du 25 janvier 1952 publié in ASA 21 447 ss, spéc. p. 450). Le législateur n'a prévu, à cet égard, aucune mesure de clémence pour le contribuable repenti qui remplit ses obligations tardivement. L'impôt anticipé, dont la charge devient pour lui définitive, ne saurait se substituer aux impôts directs (cf. arrêts 2C_601/2008 du 25 novembre 2008 consid. 4; 2A.152/1988 du 28 avril 1989 consid. 3d).
Dans ces conditions, il y a lieu de retenir que le contribuable reçoit, en qualité de revenu, l'intégralité du rendement brut de sa fortune mobilière, y compris la part qui correspond à l'impôt anticipé perçu. C'est donc ce montant qui doit être pris en compte dans la détermination du revenu imposable, et non le montant net, après déduction de l'impôt anticipé définitivement perdu. Il doit en aller de même lors de la taxation effectuée dans une procédure de rappel d'impôt (cf. BERNHARD ZWAHLEN, in MARTIN ZWEIFEL/MICHAEL BEUSCH/MAJA BAUER-BALMELLI (ÉD.), Kommentar zum schweizerischen Steuerrecht - Bundesgesetz über die Verrechnungssteuer, 2e éd. 2012, n° 9 ad <ref-law>; PFUND/ZWAHLEN, op. cit., n° 3.5 ad <ref-law>; arrêt de la Commission de recours administrative du canton de St. Gall du 18 août 2004, in Revue fiscale 2005 p. 214 ss, spéc. p. 219). La double charge qui en résulte pour le contribuable a été voulue par le législateur (cf. ATF 2A.503/1995 du 4 décembre 1996 consid. 3e).
3.8 En l'espèce, l'intimé a obtenu le revenu correspondant au montant brut des intérêts de la fortune mobilière à la date de l'échéance de ces intérêts, lorsqu'ils ont été portés à son compte par leur débiteur, soit au 31 décembre de chaque année (cf. arrêt 2A.114/2001 du 10 juillet 2001 consid. 3). Au même moment, l'impôt anticipé a été perçu et la prétention au remboursement de cet impôt a pris naissance. En outre, il ne dépendait que de l'intimé de réclamer en temps utile le remboursement de l'impôt anticipé. Qu'il y ait renoncé ne change rien au fait que le débiteur des intérêts lui devait l'ensemble du montant brut et que c'est donc sur ce montant qu'il doit acquitter l'impôt sur le revenu.
3.9 Le recours doit par conséquent être admis dans la mesure où il est recevable et l'arrêt attaqué partiellement annulé en tant qu'il prend en compte les rendements nets de la fortune mobilière non déclarée de l'intimé pour le calcul du revenu imposable des périodes fiscales 2001 à 2003. La cause sera renvoyée à l'Administration cantonale pour qu'elle établisse de nouveaux bordereaux de taxation qui tiendront compte des rendements bruts de la fortune mobilière non déclarée de l'intimé pour ces périodes fiscales. Dans ce contexte, il y a lieu de relever que les conclusions de la recourante portent en particulier sur les rendements du compte xxx auprès de la banque C._, alors que ceux-ci ont été régulièrement déclarés par leur montant brut par l'intimé. Une nouvelle prise en compte - brute ou nette - reviendrait donc à les comptabiliser deux fois, ce qui n'est pas admissible. Il convient donc de ne pas compter ces rendements une seconde fois.
4. L'Administration cantonale a recouru pour les périodes fiscales 1999 à 2003. Elle a obtenu gain de cause pour les périodes fiscales 2001 à 2003, mais son recours est irrecevable en ce qui concerne les années 1999 et 2000 (cf. supra consid. 1.2 in fine). Compte tenu de cette issue du litige, l'intimé supportera la moitié des frais judiciaires (art. 66 al. 1 et 3 LTF). Le canton de Genève, dont l'intérêt pécuniaire est en cause (cf. arrêt 2C_482/2011 du 25 juillet 2012 consid. 6 non publié aux <ref-ruling>), supportera l'autre moitié des frais judiciaires (<ref-law>) et versera à l'intimé une indemnité réduite à titre de dépens (<ref-law>). Agissant dans l'exercice de ses attributions officielles, l'Administration cantonale ne peut prétendre à des dépens (<ref-law>).
Dès lors que le recours ne portait que sur une question accessoire d'une faible valeur litigieuse en comparaison des montants en jeu devant la Cour de justice, il n'y a pas lieu de modifier la répartition des frais et dépens devant cette instance (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans la mesure où il est recevable. L'arrêt de la Cour de justice du 15 mai 2012 est partiellement annulé en tant qu'il prend en compte les rendements nets de la fortune mobilière non déclarée de l'intimé pour les périodes fiscales 2001 à 2003. La cause est renvoyée à l'Administration fiscale cantonale pour qu'elle établisse de nouveaux bordereaux de taxation en tenant compte des rendements bruts de la fortune mobilière de l'intimé.
2. Les frais judiciaires, fixés à CHF 1'000.-, sont mis à la charge de l'intimé pour moitié et à la charge du canton de Genève pour l'autre moitié.
3. Le canton de Genève versera à l'intimé une indemnité réduite de CHF 500.- à titre de dépens.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section, et à l'Administration fédérale des contributions.
Lausanne, le 14 février 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti