Faits:
A. X._, domicilié à Genève avec son épouse, exerce la profession de chauffeur de taxi à titre indépendant.
Le 5 avril 2006, les époux XY._ (ci-après aussi: les contribuables) ont envoyé à l'Administration fiscale cantonale genevoise (ci-après: l'Administration cantonale) leur déclaration fiscale pour la période 2005. Selon le bilan et compte de pertes et profits de l'exercice 2005 figurant en annexe, l'activité indépendante avait généré un bénéfice net de 9'983 fr. 65. Ce montant s'obtenait comme suit: 35'850 (recettes taxi) + 2'400 (part privée taxi) = 38'250 fr. ./. (16'131.35 [frais généraux] + 12'135 [amortissements]) = 9'983 fr. 65.
A plusieurs reprises, l'Administration cantonale a invité les époux XY._ à lui remettre les disques tachygraphiques du taxi pour toute l'année 2005, ainsi que les pièces comptables. Les contribuables n'ont pas produit ces documents.
B. Le 29 janvier 2007, l'Administration cantonale a adressé aux contribuables deux bordereaux de taxation d'office valant l'un pour l'impôt cantonal et communal (ci-après: ICC) et l'autre pour l'impôt fédéral direct (ci-après: IFD) de la période 2005. Elle avait retenu un bénéfice net de l'activité indépendante de 42'001 fr. Le revenu imposable s'établissait ainsi à 96'512 fr. pour l'ICC et à 88'700 fr. pour l'IFD.
La réclamation formée contre ces prononcés a été rejetée par décisions de l'Administration cantonale du 7 février 2008, confirmées par la Commission cantonale de recours en matière administrative du canton de Genève (décision du 18 janvier 2010).
A l'encontre de cette dernière décision, X._, agissant seul, a interjeté un recours qui a été partiellement admis par arrêt de la Cour de justice du canton de Genève du 22 novembre 2011. Le contribuable avait en effet finalement produit les disques tachygraphiques afférents à l'année 2005, à l'exception de la période allant du 4 au 31 décembre 2005. Sur la base des disques produits - et en faisant une extrapolation pour la période manquante -, le kilométrage parcouru durant l'année 2005 s'élevait à 41'172. En déduisant un forfait de 5'200 km pour la part privée, ainsi que 12'000 km parcourus lors de voyages à l'étranger, le kilométrage professionnel était de 23'972. En retenant un rendement kilométrique moyen de 2 fr. 40, sur la base d'un document intitulé "coefficients d'expérience taxis, Genève", daté du 21 avril 2010 et transmis par l'Administration fédérale des contributions, Division principale de la taxe sur la valeur ajoutée, le chiffre d'affaires s'élevait à 57'533 fr. Déduction faite des charges déclarées par le contribuable, soit 28'266 fr., le bénéfice net imposable était de 29'267 fr., au lieu du montant de 42'001 fr. retenu précédemment.
C. Contre cet arrêt, les époux XY._ forment un "recours de droit public" au Tribunal fédéral. Ils concluent, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué, du prononcé de la Commission cantonale de recours en matière administrative du 18 janvier 2010, des décisions sur réclamation du 7 février 2008, ainsi que des bordereaux ICC et IFD 2005 et au renvoi de la cause aux "autorités judiciaires genevoises" pour nouvelle décision dans le sens des considérants. A titre préalable, ils demandent que leur recours soit doté de l'effet suspensif, requête qui a été rejetée par ordonnance du Président de la IIe Cour de droit public du 16 janvier 2012.
L'Administration fédérale des contributions et l'Administration cantonale concluent au rejet du recours, alors que l'autorité précédente persiste dans les considérants et le dispositif de l'arrêt entrepris.

Considérant en droit:
1. 1.1 Le fait que les recourants ont adressé au Tribunal fédéral un "recours de droit public", voie de droit qui n'existe plus depuis l'entrée en vigueur de la LTF, ne saurait leur nuire, pour autant que les conditions de recevabilité du recours en matière de droit public des <ref-law> soient remplies.
1.2 L'arrêt attaqué concerne la taxation d'office du revenu de l'activité lucrative indépendante au titre de l'ICC et de l'IFD de la période fiscale 2005. Comme ces domaines relèvent du droit public et qu'aucune des exceptions prévues à l'<ref-law> n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. L'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) confirme l'existence de cette voie de droit pour l'IFD. S'agissant de l'ICC, la taxation d'office du revenu de l'activité lucrative indépendante étant une matière harmonisée aux art. 7 et s. ainsi que 39 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est donc aussi réservée par l'<ref-law> (cf. <ref-ruling> ss).
1.3 L'autorité précédente a rendu une seule décision valant pour l'ICC et l'IFD, ce qui est admissible (cf. <ref-ruling> consid. 1.3.1 p. 262 s.), dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (voir consid. 2 et 3 ci-après). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir soulevé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.3 p. 264).
Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'ICC (2C_32/2012) et l'autre l'IFD (2C_33/2012). Comme l'état de fait est identique et que les questions juridiques à trancher sont similaires, les deux causes seront jointes et il sera statué dans un seul arrêt (cf. <ref-law> et art. 24 de la loi de procédure civile fédérale du 4 décembre 1947 [RS 273]).
1.4 X._ a participé à la procédure devant la Cour de justice et a un intérêt digne de protection à l'annulation ou à la modification de l'arrêt entrepris. Il a, partant, qualité pour former un recours de droit public (cf. <ref-law>). Il en va différemment de son épouse, qui n'a pas contesté la décision de la Commission cantonale de recours en matière administrative du 18 janvier 2010 devant la Cour de justice. Le recours est donc irrecevable en tant qu'il a été interjeté par Y._.
1.5 En raison de l'effet dévolutif du recours à la Cour de justice (cf. <ref-ruling> consid. 2a p. 302 s.), dont la décision - de dernière instance cantonale - peut seule être attaquée devant le Tribunal fédéral (cf. art. 86 al. 1 let. d LTF), les conclusions prises dans le présent recours sont irrecevables dans la mesure où elles se rapportent aux prononcés des autorités ayant précédé la Cour de justice. En outre, en tant que le recourant se borne à requérir l'annulation de l'arrêt entrepris et le renvoi de la cause, ses conclusions sont d'une recevabilité douteuse, dès lors que l'<ref-law> confère au Tribunal fédéral un pouvoir général de réforme. Eu égard au sort du recours, la question peut néanmoins demeurer indécise.
Enfin, la mention figurant à la fin du mémoire de recours, selon laquelle celui-ci est établi "sous toutes réserves", est dénuée de sens et d'intérêt.
1.6 Sous réserve de ce qui précède, il y a lieu d'entrer en matière, les autres conditions de recevabilité étant réunies.
1.7 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente. La critique purement appellatoire des faits est irrecevable devant le Tribunal fédéral.
En l'espèce, le recourant énonce une série de faits qui ne ressortent pas de l'arrêt entrepris et qui sont, partant, irrecevables.
I. Impôt fédéral direct
2. 2.1 D'après l'art. 130 al. 1 et 2 LIFD, l'autorité de taxation contrôle la déclaration d'impôt et procède aux investigations nécessaires. Elle effectue la taxation d'office sur la base d'une appréciation consciencieuse si, malgré sommation, le contribuable n'a pas satisfait à ses obligations de procédure ou que les éléments imposables ne peuvent être déterminés avec toute la précision voulue en l'absence de données suffisantes. Elle peut prendre en considération les coefficients expérimentaux, l'évolution de fortune et le train de vie du contribuable. Selon l'<ref-law>, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve. Par la voie de la réclamation, le contribuable taxé d'office peut contester la réalisation des conditions qui ouvrent à l'autorité fiscale le droit de taxer d'office, ainsi que le montant des éléments imposables, pour autant qu'il prouve le caractère manifestement inexact de la taxation (cf. arrêt 2A.657/2005 du 9 juin 2006 consid. 2, in RF 62/2007 p. 44). Le Tribunal fédéral n'annule pareille taxation que si des fautes ou des erreurs manifestes ont échappé à l'autorité inférieure et que celle-ci a procédé à une estimation manifestement erronée. Est manifestement erronée toute appréciation qui n'a pas pris en considération des points de vue essentiels ou les a interprétés de manière inexacte. L'inexactitude manifeste d'une estimation peut être admise lorsque la taxation, même en tenant compte de la marge d'appréciation de l'autorité précédente, est clairement trop élevée ou trop basse, lorsqu'il est clairement reconnaissable qu'elle repose sur des fondements, des méthodes ou des moyens d'estimation erronés ou enfin lorsqu'elle n'est raisonnablement pas conciliable avec les circonstances du cas d'espèce, telles qu'elles ressortent des pièces (Hugo Casanova, in Commentaire romand, Impôt fédéral direct, 2008, no 28 ad <ref-law>). Le Tribunal fédéral est donc lié par la taxation d'office lorsqu'elle repose sur une constatation des faits exacte et complète et sur une prise en considération objective de l'ensemble des circonstances déterminantes pour la taxation (arrêt 2C_279/2011 du 17 octobre 2011 consid. 3.1, in RF 67/2012 p. 59, StE 2012 B 93.5 no 26).
2.2 En l'occurrence, le recourant ne conteste pas que son absence de collaboration lors de l'établissement des faits déterminants pour l'imposition ait fondé le droit de l'autorité de procéder à cette dernière par estimation. En se référant à des arrêts dénués de pertinence, il se borne à contester le recours au document du 21 avril 2010 utilisé en relation avec la TVA, sur la base duquel un rendement kilométrique moyen de 2 fr. 40 a été retenu.
2.3 Ainsi que l'a relevé à juste titre l'autorité précédente, le Tribunal fédéral a consacré ce mode de procéder dans plusieurs jugements en matière de TVA (arrêts 2C_429/2009 du 9 novembre 2009 consid. 4.2; 2A.297/2005 du 3 février 2006 consid. 4.3, in Archives 76 p. 779; 2A.253/2005 du 3 février 2006 consid. 4.2, in RDAF 2007 II p. 318, RF 61/2006 p. 556; cf. aussi, récemment, arrêt 2C_835/2011 du 4 juin 2012). La simple critique relative au recours à ces moyennes est insuffisante dans le cadre d'une procédure par estimation consécutive à l'absence de collaboration du contribuable. En effet, dans ce système de taxation d'office, l'estimation de l'autorité de taxation bénéficie d'une certaine présomption d'exactitude, qui ne saurait être renversée que par la démonstration d'un défaut qualifié. Cette exigence emporte donc, dans ce sens, un renversement du fardeau de la preuve (Casanova, op. cit., no 29 ad <ref-law> avec renvoi à l'<ref-ruling> consid. 4c). Or, en l'occurrence, les critiques du recourant portant essentiellement sur le prétendu manque de précision et d'adéquation des données statistiques contenues dans le document du 21 avril 2010 ne sauraient suffire à établir le caractère manifestement inexact de la taxation par estimation litigieuse. Partant, le recours est mal fondé en tant qu'il concerne l'IFD.
II. Impôt cantonal et communal
3. L'art. 46 al. 1 et 3 et l'<ref-law> ont un contenu similaire aux art. 130 et 132 al. 3 LIFD. En outre, il n'est pas allégué que ces dispositions auraient été mal transposées en droit cantonal. Il s'ensuit que les considérations émises ci-dessus au sujet de la taxation d'office de l'IFD valent également pour l'ICC. Partant, le recours doit aussi être rejeté en ce qui concerne ce dernier.
4. Les considérants qui précèdent conduisent au rejet du recours, dans la limite de sa recevabilité. Succombant, les recourants doivent supporter un émolument judiciaire, solidairement entre eux (cf. art. 66 al. 1 et 5 LTF). Ils n'ont pas droit à des dépens (cf. <ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Dans la mesure de sa recevabilité, le recours est rejeté en tant qu'il concerne l'impôt fédéral direct de la période fiscale 2005.
2. Dans la mesure de sa recevabilité, le recours est rejeté en tant qu'il concerne l'impôt cantonal et communal de la période fiscale 2005.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4. Le présent arrêt est communiqué au mandataire des recourants, à l'Administration fiscale cantonale et à la Cour de justice du canton de Genève, Chambre administrative, 2ème section, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 22 juin 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin