Faits: A. X._ est domicilié dans le canton de Genève et exerce la profession de médecin-dentiste à titre indépendant. Le 17 juillet 1998, l'Administration fiscale cantonale du canton de Genève (ci-après: l'Administration cantonale) a notifié aux époux X._ un bordereau de taxation d'impôt fédéral direct (IFD) pour la période 1997-1998 d'un montant de 6'999 fr. par année, sur la base d'un revenu imposable de 136'400 fr. Le 2 mars 2000, l'Administration cantonale a notifié aux époux X._ un bordereau de taxation IFD pour la période 1999-2000 d'un montant de 6'297 fr. par année, sur la base d'un revenu imposable de 131'000 fr. Le 27 octobre 2000, elle leur a notifié, pour cette même période, un bordereau de taxation IFD rectifié d'un montant de 5'764 fr. par année, sur la base d'un revenu imposable de 126'900 fr. Le 15 mars 2004, l'Administration cantonale a informé les époux X._ de l'ouverture d'une procédure en rappel d'impôt et en soustraction d'impôt pour les périodes 1997-1998 et 1999-2000. A la suite de décisions prises le 9 novembre 2004, l'Administration cantonale a notifié, le 12 novembre 2004, aux époux X._: - un bordereau de rappel IFD pour la période 1997-1998 pour un montant supplémentaire de 6'318 fr. plus 1'513,20 fr. d'intérêts de retard, le revenu imposable passant de 136'400 fr. à 160'709 fr. et la taxation de 13'998 fr. à 20'316 fr.; - un bordereau de rappel IFD pour la période 1999-2000 pour un montant supplémentaire de 13'338 fr. plus 2'018,85 fr. d'intérêts de retard, le revenu imposable passant de 126'900 fr. à 178'234 fr. et la taxation de 11'528 fr. à 24'866 fr.; - un bordereau d'amende de 24'570 fr. Selon l'Administration cantonale, les contribuables avaient fait passer de nombreux frais de nature privée pour des charges de l'activité commerciale. La faute était relativement grave, compte tenu du caractère répétitif et intentionnel des faits reprochés. Le 29 novembre 2004, l'Administration cantonale a notifié aux époux X._ un bordereau de taxation IFD pour la période 2001-B d'un montant de 19'790 fr., sur la base d'un revenu imposable de 243'200 fr. Le même jour, elle a adressé aux contribuables un procès-verbal de taxation 2001-B faisant état de reprises pour 102'592 fr. Le 8 décembre 2004, les époux X._ ont déposé réclamation contre, d'une part, les bordereaux de rappel IFD pour les périodes 1997-1998 et 1999-2000 ainsi que d'amende du 12 novembre 2004 et, d'autre part, contre le bordereau de taxation IFD pour la période 2001-B du 29 novembre 2004. Dans une première décision du 8 juillet 2005 relative à la procédure de rappel d'impôt, l'Administration cantonale a partiellement admis la réclamation, mais maintenu la quotité de l'amende. Ainsi, pour la période 1997-1998, le revenu imposable était arrêté à 169'500 fr. et le rappel d'impôt s'élevait à 8'606 fr. plus 2'061,15 fr. d'intérêts de retard et, pour la période 1999-2000, le revenu imposable était arrêté à 173'800 fr. et le rappel d'impôt s'élevait à 12'194 fr. plus 1'845,70 fr. d'intérêts de retard. S'agissant des frais de véhicule, l'Administration cantonale s'est écartée de la pratique consistant à accepter 3/5èmes des frais de véhicule à titre professionnel pour en admettre seulement 1/5ème, en raison du caractère abusif et disproportionné de ces frais au regard de l'activité professionnelle déployée par le contribuable. En outre, l'Administration cantonale a admis certaines charges déductibles supplémentaires. En revanche, elle en a refusé d'autres qui présentaient un caractère privé. Par exemple, elle n'a pas retenu, pour ce qui est des frais de formation continue, des voyages en avion privé et des repas dans des restaurants de luxe ni, pour ce qui est des frais de fournisseurs, des achats relevant plus de l'entretien d'une famille que de celui d'un cabinet dentaire. Dans une seconde décision du 8 juillet 2005, l'Administration cantonale a dégrevé partiellement le bordereau relatif à l'IFD pour la période 2001-B et arrêté le revenu imposable à 209'500 fr. ainsi que le montant de l'IFD dû à 15'409 fr. Elle a renoncé à certaines reprises en matière de frais de véhicule, de formation continue et de fournisseurs. B. Par courrier du 4 août 2005, les époux X._ ont recouru contre les deux décisions prises le 8 juillet 2005 par l'Administration cantonale auprès de la Commission cantonale de recours de l'impôt fédéral direct, remplacée depuis le 1er janvier 2009 par la Commission cantonale de recours en matière administrative, du canton de Genève (ci-après: la Commission cantonale de recours). Par décision du 12 mars 2008, la Commission cantonale de recours a admis partiellement le recours, compte tenu des dernières conclusions de l'Administration cantonale qui estimait le recours fondé quant à une déduction de 3'909,40 fr. relative à la période 2001-B et le dossier a été renvoyé à l'Administration cantonale pour qu'elle établisse un nouveau bordereau en conséquence. Pour le surplus, le recours a été rejeté. C. Le 21 avril 2008, les époux X._ ont recouru contre la décision de la Commission cantonale de recours du 12 mars 2008 auprès du Tribunal administratif du canton de Genève (ci-après: le Tribunal administratif). Ils ont contesté essentiellement les reprises relatives aux frais de véhicule et de formation pour les trois périodes en cause (1997-1998, 1999-2000 et 2001-B) ainsi que la reprise de certains frais de fournisseurs pour la période 2001-B. Ils ont aussi fait valoir que l'amende était trop élevée, quand bien même elle serait réduite en raison d'une diminution des rappels d'impôts. Par arrêt du 15 décembre 2009, le Tribunal administratif a partiellement admis le recours en tant qu'il portait sur le bordereau rectificatif de rappel IFD pour la période 1999-2000 du 12 novembre 2004 et sur le bordereau d'amende IFD du 12 novembre 2004 et annulé lesdits bordereaux. Dans cette mesure, il a annulé la décision de la Commission cantonale de recours du 12 mars 2008 et renvoyé la cause à l'Administration cantonale pour nouvelle taxation et amende au sens des considérants. Pour le surplus, le Tribunal administratif a rejeté le recours. L'admission partielle du recours portait sur le calcul des frais de véhicule pour la période 1997-1998, car la reprise était supérieure au montant admis comme frais professionnels; en outre, le montant de l'amende, fixé en fonction du montant du rappel d'impôt, devait être adapté en conséquence. D. Le 9 février 2010, X._ a déposé au Tribunal fédéral un recours en matière de droit public contre l'arrêt du Tribunal administratif du 15 décembre 2009. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué. En outre, il demande au Tribunal fédéral de dire: - que la part professionnelle des frais de véhicule déductible du produit de son activité indépendante est de 3/5èmes et non de 1/5ème (périodes 1997-1998, 1999-2000 et 2001-B); - que les frais relatifs à la formation continue au sein du Y._ Club (ci-après: le Club) sont intégralement déductibles (périodes 1997-1998, 1999-2000), de même que les frais de voyage à Z._ (période 2001-B); - que les frais d'acquisition de meubles chez A._ pour un montant de 1'049,30 fr. ainsi que la facture d'architecte de 1'826 fr. et les achats de CD pour un montant de 297 fr. constituent des frais déductibles (période 2001-B). Le Tribunal administratif et la Commission cantonale de recours ont renoncé à formuler des observations. L'Administration cantonale conclut, sous suite de frais, au rejet du recours. L'Administration fédérale des contributions propose de rejeter le recours dans la mesure de sa recevabilité, avec suite de frais.