Citation: 2C_772/2019 E. 5

Sur le vu des considérants qui précèdent, le recours est admis, tant en matière d'IFD que d'ICC, dans la mesure où il est recevable. L'arrêt entrepris est annulé. Succombant très partiellement (dans la mesure où il a contesté l'IFD de la période fiscale 2003), le recourant doit supporter une partie réduite des frais judiciaires (art. 66 al. 1 LTF), le solde étant à la charge du canton de Genève, qui agit dans l'exercice de ses attributions officielles et dont l'intérêt patrimonial est en jeu (art. 66 al. 1 et 4 LTF). En tant qu'il succombe presque entièrement, le canton de Genève sera condamné à verser au recourant des dépens réduits (art. 68 al. 1 LTF), aucun dépens ne lui étant alloué (art. 68 al. 3 LTF). Il ne se justifie en outre pas de répartir autrement les frais de la procédure antérieure (cf. art. 67 LTF), puisqu'au moment du prononcé de l'arrêt entrepris, la période fiscale 2004 n'était pas encore prescrite. Par ces motifs, le Tribunal fédéral prononce :