Faits:
A. X._ est imposé dans le canton de Genève.
Au 31 décembre 2005, X._ était célibataire, mais partageait sa vie avec Y._, ressortissante kenyane. Celle-ci est arrivée en Suisse le 5 janvier 2004 avec leur fils A._, né le 23 février 2003, ainsi qu'avec ses enfants B._, née le 24 mars 1993, et C._, né le 7 mai 1997, tous deux issus d'une autre relation.
X._ et Y._ se sont mariés le 3 mai 2006.
Le 28 juin 2006, X._ a adressé à l'Administration fiscale cantonale sa déclaration d'impôt pour la période fiscale 2005. Il a indiqué qu'il était marié avec Y._ et qu'il avait trois enfants à charge, à savoir A._, C._ et B._. S'agissant de l'impôt fédéral direct, il avait déduit du revenu brut notamment les montants suivants:
- charges de famille: 16'800 fr. (3 enfants à 5'600 fr.);
- assurance maladie de l'épouse: 2'832 fr.;
- assurances maladie des enfants: 2'606 fr. (cotisations pour 3 enfants).
B. Par bordereau du 8 novembre 2006, l'Administration fiscale cantonale a fixé le revenu imposable au titre de l'impôt fédéral direct de X._ à 133'000 fr. Elle a refusé d'admettre en déduction les charges afférentes à la concubine du contribuable, ainsi qu'aux enfants de cette dernière. La déduction pour charge de famille n'a ainsi été admise qu'à concurrence de 5'600 fr. (pour l'enfant commun A._) et celle relative aux primes d'assurances maladie qu'à hauteur de 2'200 fr.
A l'encontre de ce bordereau, X._ a formé, notamment sur les points précités, une réclamation qui a été rejetée par décision du 18 décembre 2006.
X._ a déféré ce prononcé à la Commission cantonale de recours de l'impôt fédéral direct (ci-après: la Commission cantonale de recours) - intégrée le 1er janvier 2009 dans la Commission cantonale de recours en matière administrative -, qui, par décision du 10 décembre 2008, a rejeté le recours en tant qu'il portait sur les points précités.
A l'encontre de cette décision, X._ a recouru au Tribunal administratif du canton de Genève. Par arrêt du 23 mars 2010, cette autorité a rejeté le recours sur le point des déductions liées à l'entretien de Y._. Elle l'a en revanche admis s'agissant des déductions pour l'entretien des enfants de cette dernière et a renvoyé le dossier à l'Administration fiscale cantonale pour nouvelle taxation dans le sens des considérants.
C. Agissant par la voie du recours en matière de droit public, l'Administration fiscale cantonale demande au Tribunal fédéral d'annuler l'arrêt du 23 mars 2010 en tant qu'il porte sur les déductions pour l'entretien des enfants de Y._ et de confirmer à cet égard la décision de la Commission cantonale de recours du 10 décembre 2008.
L'Administration fédérale des contributions propose d'admettre le recours. L'intimé conclut implicitement à son rejet. L'autorité précédente ainsi que la Commission cantonale de recours ne se sont pas déterminées dans le délai imparti.

Considérant en droit:
1. 1.1 Le recours est dirigé contre un arrêt considéré comme final (cf. <ref-law> et <ref-ruling> consid. 1.3 p. 127) rendu dans une cause de droit public (cf. <ref-law>) par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte. Agissant en qualité d'administration cantonale de l'impôt fédéral direct, l'Administration fiscale cantonale est habilitée à recourir en vertu de l'art. 89 al. 2 let. d LTF en relation avec l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11).
1.2 Le Tribunal fédéral statue sur la base des faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - soit arbitrairement au sens de l'art. 9 Cst. (<ref-ruling> consid. 7.1 p. 398) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
En matière d'appréciation des preuves et de constatations de fait, le Tribunal fédéral se montre réservé, vu le large pouvoir qu'il reconnaît aux autorités cantonales dans ce domaine. Il n'intervient, pour violation de l'art. 9 Cst., que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans motif sérieux, de tenir compte d'un moyen de preuve pertinent ou encore s'il a effectué, sur la base des éléments recueillis, des déductions insoutenables. Il appartient au recourant de démontrer précisément, pour chaque constatation de fait incriminée, comment les preuves administrées auraient dû, selon lui, être correctement appréciées et en quoi leur appréciation par l'autorité cantonale est insoutenable (cf. <ref-ruling> consid. 7.1 p. 398).
2. 2.1 D'après l'<ref-law> (dans sa teneur en vigueur pour la période fiscale 2005, selon l'art. 7 de l'ordonnance du 4 mars 1996 sur la compensation des effets de la progression à froid pour les personnes physiques en matière d'impôt fédéral direct [OPFr; RS 642.119.2]), sont déduits du revenu net 5'600 fr. pour chaque enfant mineur, ou faisant un apprentissage ou des études, dont le contribuable assure l'entretien (let. a) ainsi que pour chaque personne totalement ou partiellement incapable d'exercer une activité lucrative, à l'entretien de laquelle le contribuable pourvoit, à condition que son aide atteigne au moins le montant de la déduction; cette dernière déduction n'est pas accordée pour l'épouse, ni pour les enfants pour lesquels la déduction selon la lettre a est accordée (let. b; ci-après: la déduction pour personne nécessiteuse).
Le droit à la déduction ne suppose pas que le contribuable ait une obligation légale d'assistance à l'égard de la personne nécessiteuse (Christine Jaques, in Commentaire romand, Impôt fédéral direct, 2008, no 42 ad <ref-law> et les références citées).
Selon la doctrine et la jurisprudence cantonale, le contribuable qui pourvoit à l'entretien de l'enfant mineur de la personne avec qui il vit en concubinage peut, à certaines conditions, prétendre à la déduction pour personne nécessiteuse. Il faut pour cela que le parent de l'enfant ne dispose pas des ressources nécessaires - sous forme de ressources propres ou de contributions d'entretien versées par l'autre parent - pour assurer sa subsistance. Dans un tel cas, l'enfant mineur est en effet considéré comme une personne incapable d'exercer une activité lucrative, dont les ressources doivent être appréciées au regard de la situation financière de ses parents (Jaques, in Commentaire romand, op. cit., no 44 ad <ref-law>; la même, Concubins et familles recomposées: quelques réflexions sur des points choisis, Archives 69 p. 693, avec référence à un arrêt de la Commission de recours en matière d'impôts du canton de Berne du 14 avril 1992, in RF 47/1992 p. 594 consid. 5; Roman Blöchliger, Das Verhältnis vom Kinderabzug zum Unterstützungsabzug, RF 64/2009 p. 258). Le soutien peut être apporté en espèces ou en nature. Les prestations en nature peuvent consister en particulier à fournir l'hébergement et la nourriture (Blöchliger, op. cit., p. 261).
Comme il appartient au contribuable de prouver les faits diminuant ou supprimant la dette fiscale (cf. <ref-ruling> consid. 4.3 p. 158), il lui incombe d'établir la situation d'indigence de la personne soutenue et de prouver le soutien apporté. Lorsque la personne bénéficiaire ne se trouve pas en Suisse, la preuve de sa dépendance financière et des sommes versées à l'étranger est soumise à des conditions particulièrement strictes (cf. arrêt 2A.609/2003 du 27 octobre 2004 consid. 2.4, in StE 2005 A 23.2 no 2, PJA 2005 p. 869; Jaques, in Commentaire romand, op. cit., no 44 ad <ref-law>; Blöchliger, op. cit., p. 261 et la jurisprudence citée).
2.2 D'après l'<ref-law> (dans sa teneur en vigueur pour la période fiscale 2005, selon l'<ref-law>), les versements, primes et cotisations d'assurances-vie, d'assurances maladie, d'assurances accident ne tombant pas sous le coup de l'art. 33 al. 1 let. f LIFD, ainsi que les intérêts des capitaux d'épargne du contribuable et des personnes à l'entretien desquelles il pourvoit, sont également déduits jusqu'à concurrence de 3'100 fr. pour les personnes mariées vivant en ménage commun et de 1'500 fr. pour les autres contribuables (ci-après: la déduction pour assurances); ces montants sont augmentés de 700 fr. pour chaque enfant ou personne nécessiteuse pour lesquels le contribuable peut faire valoir la déduction prévue à l'art. 213 al. 1 let. a ou b LIFD.
Selon le texte de l'art. 212 al. 1 in fine LIFD, il suffit que la déduction pour personne nécessiteuse soit accordée pour que la déduction supplémentaire pour les primes d'assurances le soit également, pour autant que le contribuable pourvoie à son entretien jusqu'à concurrence du montant global en cause (cf. arrêt 2A.536/2001 du 29 mai 2002 consid. 3.3, in RF 57/2002 p. 632, s'agissant de l'art. 33 al. 1 let. g LIFD, qui constitue le pendant de l'<ref-law> dans le système praenumerando; Jaques, in Commentaire romand, op. cit., no 8 ad <ref-law>).
Seules les primes d'assurances maladie effectivement payées par le contribuable sont déductibles en vertu de l'<ref-law>. ll y a ainsi lieu de tenir compte du versement d'éventuels subsides destinés à réduire les primes (Jaques, in Commentaire romand, op. cit., no 9 ad <ref-law>).
2.3 S'agissant de l'enfant mineur de parents taxés séparément, il est exclu d'accorder à l'un des parents la déduction pour personne nécessiteuse, lorsque l'autre bénéficie de celle pour enfant (et pour assurances), car cela représenterait un cumul prohibé de déductions (<ref-ruling> consid. 9.2 p. 319; voir ég. Hugo Casanova, Recht und Unrecht der Familienbesteuerung, RDS 2010 I p. 202).
3. 3.1 L'autorité précédente a relevé que Y._ détenait l'autorité parentale sur ses enfants B._ et C._. En l'absence d'un lien de parenté avec l'intimé, celui-ci ne pouvait prétendre, en vertu de l'<ref-law>, à une déduction sociale pour leur entretien. En revanche, il était admis que ces deux enfants vivaient avec l'intimé et qu'ils ne disposaient d'aucun revenu ni fortune, puisque leur mère était exemptée de tout impôt. Compte tenu de leur âge (respectivement 12 et 8 ans), il fallait dès lors considérer que c'était l'intimé qui subvenait à leur entretien. L'expérience de la vie montrait que le coût de l'entretien d'un enfant de leur âge dépassait la limite de 5'600 fr. qui était déterminante en 2005. Par conséquent, les enfants B._ et C._ devaient être considérés comme des personnes incapables d'exercer une activité lucrative, au sens de l'<ref-law>, et l'intimé avait droit à la déduction de 5'600 fr. prévue par cette disposition. Il pouvait de même déduire les cotisations d'assurances maladie qu'il payait pour eux, dans les limites de l'<ref-law>.
3.2 La recourante fait grief à l'autorité précédente d'avoir établi les faits de manière manifestement inexacte en retenant que les enfants B._ et C._ vivaient avec leur mère et l'intimé en 2005. En réalité, il ressortirait du dossier que B._ était placée en internat au Kenya. Par ailleurs, la recourante dénonce une violation des art. 212 al. 1 et 213 al. 1 let. b LIFD, ainsi que des règles sur le fardeau de la preuve. L'intimé n'aurait en effet nullement apporté la preuve qu'il subvenait effectivement à l'entretien de ces enfants. L'expérience de la vie invoquée par l'autorité précédente ne saurait suppléer à cette absence de preuve. En particulier, l'intimé n'aurait apporté aucune preuve de la prise en charge des coûts de l'internat où vivait B._. L'on ignorerait de plus si le père des enfants a contribué d'une quelconque manière à leur entretien lors de la période en cause. En outre, la mère des enfants pouvait bénéficier des déductions sociales liées à leur entretien.
3.3 Il ressort de plusieurs pièces du dossier que, durant la période fiscale en cause, l'enfant B._ vivait dans un internat à l'étranger:
- dans sa déclaration d'impôt, l'intimé a indiqué concernant B._, sous la rubrique "Profession ou école", "D._";
- dans son recours du 20 janvier 2007 à la Commission cantonale de recours, l'intimé a allégué avoir payé la totalité des frais d'internat de B._ (pt 5);
- dans sa détermination du 9 avril 2009 à l'adresse de l'autorité précédente, la recourante a relevé que, durant l'année 2005, l'intimé avait vécu en ménage commun avec Y._, leur enfant commun A._, ainsi que "l'un des deux enfants que celle-ci avait eus précédemment" (p. 2).
De plus, dans sa détermination à l'adresse du Tribunal de céans, l'intimé relève que B._ "poursuivait sa scolarité en internat en 2005".
La constatation selon laquelle l'enfant B._ vivait avec sa mère et l'intimé en 2005 est ainsi manifestement inexacte. L'état de fait retenu par l'autorité précédente doit être rectifié en ce sens que la prénommée se trouvait durant l'année en question dans un internat à l'étranger, ce fait ayant au surplus une incidence sur l'issue du litige.
3.4 S'agissant de la déduction pour personne nécessiteuse, le litige porte essentiellement sur le point de savoir si l'autorité précédente pouvait tenir pour établi que l'intimé avait, durant l'année 2005, subvenu à l'entretien des enfants B._ et C._ pour un montant atteignant au moins - pour chacun d'eux - la somme de la déduction en vigueur cette année-là, soit 5'600 fr.
Pour ce qui est de B._, du moment qu'elle vivait en internat à l'étranger, la preuve en question est soumise à des exigences accrues (cf. consid. 2.1 ci-dessus). Or, l'intimé n'a pas fourni de moyens de preuve à l'appui de ses allégations selon lesquelles il aurait payé les frais d'internat de B._ durant l'année en question. Partant, le recours doit être admis sur ce point.
En ce qui concerne C._, quoi qu'en dise la recourante, l'autorité précédente n'a pas violé les règles sur le fardeau de la preuve en considérant, sur la base de l'expérience de la vie, que l'aide apportée par l'intimé atteignait la limite de 5'600 fr. En effet, les règles sur le fardeau de la preuve permettent de déterminer qui doit supporter les conséquences de l'absence de preuve, lorsqu'au terme de l'administration des preuves un fait demeure incertain. Dans le cadre de celle-ci, l'autorité fiscale forme sa conviction en appréciant librement les preuves. Sa conviction ne doit pas nécessairement consister en une certitude absolue excluant toute autre possibilité; elle peut aussi découler de l'expérience de la vie et du bon sens et reposer sur des motifs objectifs (arrêt 2C_47/2009 du 26 mai 2009 consid. 5.3, in RDAF 2009 II p. 489, StE 2010 B 23.2 no 39, avec référence à Martin Zweifel, Die Sachverhaltsermittlung im Steuerveranlagungsverfahren, 1989, p. 109). En l'occurrence, c'est bien en se fondant sur l'expérience de la vie que l'autorité précédente a considéré comme établi, au vu des circonstances du cas d'espèce (enfant de 8 ans vivant dans le canton de Genève, revenu imposable du soutien de famille de 133'000 fr. selon le bordereau du 8 novembre 2006, etc.), que l'aide apportée en nature (hébergement, nourriture, etc.) par l'intimé atteignait la limite de 5'600 fr. et n'a dès lors pas fait intervenir les règles sur le fardeau de la preuve. Or, la recourante ne soutient pas par une argumentation satisfaisant aux exigences de motivation rappelées ci-dessus (cf. consid. 1.2) que cette appréciation des preuves serait arbitraire.
Au demeurant, la recourante ne prétend pas que Y._ aurait effectivement bénéficié de la déduction sociale pour C._. Elle soutient seulement que la prénommée "pouvait revendiquer cette déduction pour ses deux enfants", "même si son revenu imposable a impliqué qu'en 2005 elle n'était pas taxable". La décision attaquée, dont les constatations de fait lient le Tribunal de céans (cf. consid. 1.2 ci-dessus), ne retient pas davantage que Y._ aurait effectivement bénéficié de la déduction sociale pour C._. Dans ces conditions, il n'est pas nécessaire d'examiner la question de savoir si le fait que le parent de l'enfant bénéficie de la déduction sociale (déduction pour enfant) exclut d'accorder celle pour personne nécessiteuse au concubin pourvoyant à l'entretien de celui-ci (sur le cumul prohibé de déductions s'agissant des parents taxés séparément d'un enfant mineur, cf. consid. 2.3 ci-dessus).
En ce qui concerne l'enfant C._, les griefs soulevés par la recourante doivent ainsi être rejetés dans la mesure où ils sont recevables.
3.5 Quant aux déductions pour assurances maladie, le sort du recours doit être le même que pour celles pour personne nécessiteuse: il doit être admis s'agissant de B._ et rejeté en ce qui concerne C._, étant précisé qu'il ne ressort pas du dossier que des subsides destinés à réduire les primes d'assurances maladie auraient été versés en faveur de ce dernier.
4. Vu ce qui précède, le recours doit être partiellement admis dans la mesure où il est recevable et le dossier retourné à l'Administration fiscale cantonale pour nouvelle taxation dans le sens des considérants.
Le canton de Genève, dont l'intérêt patrimonial est en jeu et qui n'obtient que partiellement gain de cause, supporte un émolument judiciaire réduit (cf. <ref-law>).
Il n'y a pas lieu d'allouer des dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis dans la mesure où il est recevable. Le dossier est retourné à l'Administration fiscale cantonale pour nouvelle taxation dans le sens des considérants.
2. Des frais judiciaires réduits, arrêtés à 1'000 fr., sont mis à la charge du canton de Genève.
3. Le présent arrêt est communiqué aux parties, à la Commission cantonale de recours en matière administrative et au Tribunal administratif du canton de Genève, 2ème Section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 2 novembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin