Faits:
A. X._, ressortissant des Philippines né en 1968 et sa compatriote Y._, née en 1972, ont été interpellés le 8 juin 2008 en situation irrégulière à Genève, dans le cadre d'une intervention policière pour des violences domestiques.
Lors de son audition du 9 juin 2008 par la Gendarmerie de Carouge, X._a déclaré être arrivé à Genève le 30 juillet 1998 et y avoir depuis lors séjourné et travaillé sans autorisation. Il a expliqué qu'il avait été engagé par divers employeurs comme homme de ménage ou gardien, qu'il vivait en Suisse avec Y._, mais qu'il avait encore son épouse et sa fille aux Philippines et qu'il était en outre père d'un fils de deux ans, né d'une relation avec une compatriote résidant à Genève, mais dont il ignorait l'adresse.
Le 10 septembre 2008, X._ a déposé une demande d'autorisation de séjour.
Entendu le 4 novembre 2008 par l'Office cantonal de la population du canton de Genève au sujet de sa situation personnelle, le prénommé a exposé qu'il était venu en Suisse en 1998 et que son fils A._ vivait avec sa mère à Genève. Il a relevé en outre qu'il avait encore un frère et quelques cousins dans son pays, mais qu'il souhaitait rester en Suisse pour des raisons économiques. Il a enfin indiqué qu'il se sentait bien en Suisse, y fréquentait essentiellement des compatriotes, mais qu'il avait commencé de suivre des cours de français en septembre 2008.
Le 12 mai 2008, l'employeur de Y._ a déposé pour elle auprès de l'Office cantonal de la population une demande de permis de travail, en précisant que celle-ci travaillait à son service comme employée de maison depuis le mois d'octobre 2007.
Lors de son audition du 9 juin 2008 par la Gendarmerie de Carouge, la prénommée a déclaré être arrivée à Genève en septembre 2005 et y avoir ensuite séjourné et travaillé sans autorisation, précisant qu'elle était célibataire, sans enfants et que ses parents et ses sept frères et soeurs vivaient aux Philippines. Elle a expliqué qu'elle formait depuis deux ans et demi un couple avec X._, que celui-ci l'avait certes frappée et menacée lors d'une altercation à leur domicile, mais qu'elle souhaitait lui accorder une seconde chance et n'entendait pas engager une procédure pénale à son encontre.
B. Le 27 avril 2009, l'Office cantonal de la population a informé X._ et Y._ de ce qu'il était disposé à leur délivrer une autorisation de séjour en application des art. 30 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr ; RS 142.20) et 31 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA ; RS 142.201), mais que cette décision demeurait subordonnée à l'approbation de l'Office fédéral des migrations, auquel il soumettait le dossier.
Après avoir donné aux prénommés la possibilité de s'exprimer, l'Office fédéral des migrations a refusé, par décisions du 23 juin 2010, d'approuver l'octroi en leur faveur d'une autorisation de séjour en dérogation aux conditions d'admission et de renvoi. Cette autorité a relevé que les intéressés avaient longtemps vécu illégalement en Suisse, ne s'étaient pas créé d'attaches sociales et professionnelles particulièrement étroites avec ce pays, n'y avaient pas suivi de formation particulière et conservaient en réalité des attaches avec leur pays, dans lequel ils avaient passé leur enfance, leur adolescence et une grande partie de leur vie d'adulte et où vivaient encore des membres proches de leur famille.
A l'encontre de ces décisions, X._ et Y._ ont conjointement recouru au Tribunal administratif fédéral. Ils ont notamment exposé qu'ils attendaient la naissance de leur premier enfant et que leur éventuel retour aux Philippines les placerait, pour ce motif également, dans une situation économique très difficile, dès lors qu'ils n'y avaient ni maison, ni travail.
Le 27 juillet 2010, le Tribunal administratif fédéral a joint les causes. Dans le cadre de l'instruction, X._ a notamment fait valoir qu'il entendait maintenir des relations familiales avec son fils A._, dont la mère bénéficiait d'un "statut durable" en Suisse. X._ et Y._ ont également produit une déclaration écrite de B._, ressortissante philippine et mère de A._, né le 6 novembre 2005, déclaration dans laquelle la prénommée confirmait que X._ entretenait des relations régulières avec son fils, désormais titulaire d'une autorisation de séjour CE/AELE, et qu'il lui versait une pension pour l'entretien de l'enfant.
Par arrêt du 26 août 2011, le Tribunal administratif fédéral a rejeté le recours.
C. Agissant par la voie du recours en matière de droit public, X._ et Y._ demandent au Tribunal, principalement, d'annuler l'arrêt du Tribunal administratif fédéral et d'approuver l'octroi d'une autorisation de séjour au premier nommé et, en conséquence, à la seconde ; à titre subsidiaire, ils concluent au renvoi de la cause à l'autorité précédente pour complément d'instruction et nouvelle décision, le tout sous suite de frais et dépens. Ils requièrent en outre le bénéfice de l'assistance judiciaire et la désignation de Me Jean-Pierre Garbade comme avocat d'office.
L'autorité précédente renonce à se déterminer sur le recours, alors que l'Office fédéral des migrations conclut à son rejet.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle donc librement la recevabilité des recours déposés devant lui.
1.1 Selon l'art. 83 let. c LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (ch. 2) ou qui concernent des dérogations aux conditions d'admission (ch. 5).
1.2 La présente procédure a partiellement pour origine le refus de l'Office fédéral des migrations de mettre les recourants au bénéfice de l'art. 30 al. 1 let. b LEtr, et de leur reconnaître, en dérogation aux conditions d'admission, un droit à une autorisation de séjour pour "cas individuel d'une extrême gravité" (permis dit humanitaire). En raison de la nature potestative ("Kann-Vorschrift") de la disposition précitée, les recourants ne peuvent en déduire aucun droit - au sens de l'art. 83 let. c ch. 2 LTF - à une autorisation de séjour. En outre, comme refus de déroger aux conditions d'admission, la décision attaquée ne pourrait de toute façon pas faire l'objet d'un recours en matière de droit public en vertu, également, de l'art. 83 let. c ch. 5 LTF. Les recourants ne s'y trompent d'ailleurs pas. En effet, X._ fonde essentiellement son argumentation sur la protection de la vie familiale assurée par l'art. 8 § 1 CEDH au regard des liens allégués avec son fils A._. S'il devait s'avérer que cette disposition lui confère bien, comme il le soutient, un droit à une autorisation de séjour, son recours échapperait non seulement à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF, mais encore à celle de l'art. 83 let. c ch. 5 LTF. Conformément à la réserve de l'art. 3 al. 2 LEtr en faveur des engagements internationaux de la Suisse, le recourant aurait en effet, dans une telle hypothèse, un véritable droit d'être admis en Suisse, indépendamment des conditions d'admission laissées à l'appréciation des autorités de police des étrangers aux art. 18 à 29 LEtr. Autrement dit, la contestation ne concernerait alors pas la dérogation à de telles conditions, au sens de l'art. 83 let. c ch. 5 LTF. Il s'avère toutefois très douteux, au stade de la recevabilité déjà, que le recourant puisse se prévaloir d'un tel droit, au regard des liens fort ténus qu'il entretient avec son fils A._. La question peut cependant demeurer indécise au regard du sort de la cause.
1.3 La qualité pour recourir de Y._ est encore plus problématique, dès lors qu'elle dépend de la reconnaissance préalable d'un droit de séjour à X._. Ce n'est en effet que dans le cas où ce dernier se verrait reconnaître un tel droit qu'elle pourrait éventuellement faire valoir un droit dérivé au regroupement familial avec lui. Dès lors que la qualité pour recourir s'examine d'entrée de cause, force est de constater que Y._ ne dispose en l'état d'aucun droit à une autorisation de séjour. La qualité pour recourir doit donc lui être déniée, aussi en ce qui concerne la violation prétendue de son droit d'être entendue, dès lors qu'elle se plaint en définitive du caractère arbitraire d'une appréciation anticipée des preuves (cf. <ref-ruling> consid. 2 p. 308).
2. Le recourant fait d'abord grief à l'autorité précédente d'avoir violé son droit d'être entendu, tel qu'il est garanti par l'art. 29 Cst. Dans un de ses mémoires, il avait en effet requis son audition personnelle - ainsi que celle de la recourante - ou d'être mis en mesure de fournir des renseignements ou des pièces supplémentaires "si des doutes subsistent ou des éclaircissements sont nécessaires". En statuant sans avoir procédé à une telle administration des preuves, l'autorité précédente aurait violé son droit d'être entendu.
2.1 Le droit de faire administrer des preuves découlant du droit d'être entendu garanti par l'art. 29 al. 2 Cst. suppose que le fait à prouver soit pertinent, que le moyen de preuve proposé soit nécessaire pour constater ce fait et que la demande soit présentée selon les formes et délais prescrits par les dispositions de procédure applicables (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 5b/bb p. 505). Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction, lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 5b/bb p. 505 s.).
2.2 En l'espèce, le recourant fait grand cas d'une phrase figurant au consid. 7.4. de l'arrêt entrepris. Tel que cité par le recourant, ce passage a la teneur suivante: ce dernier "n'a semble-t-il pas entretenu de relations avec son fils durant les premières années, puisqu'il s'est borné à déclarer à ce sujet, lors de son audition le 9 juin 2008 par la police genevoise, qu'il avait un fils avec une compatriote habitant à Genève...". Outre que le recourant ne cite pas la fin de la phrase en question, d'où il ressort qu'il "ne connaissait pas son adresse", il fait abstraction de toutes les autres circonstances prises en considération par le Tribunal administratif fédéral et l'ayant conduit à nier l'existence de liens affectifs importants entre le recourant et son fils A._. Le considérant en question précise en effet:
"Lors de ses auditions du 16 septembre et du 4 novembre 2008 à l'OCP, il a certes affirmé qu'il payait une pension alimentaire à la mère de l'enfant, mais précisé qu'il ne voyait son fils que 'de temps en temps', en raison de tensions avec sa mère. Dans ses déterminations à l'ODM du 11 décembre 2009, le recourant alléguait finalement qu'il voyait son fils deux fois par mois et qu'il versait Fr. 400.- par mois à la mère de l'enfant. Le Tribunal relève enfin que, dans une déclaration écrite du 9 novembre 2010, B._, mère de l'enfant, relevait tout au plus que X._ n'avait pas oublié ses obligations de père en lui versant une contribution mensuelle pour l'enfant et que leurs relations étaient celles d'un père avec son fils".
Il convient d'emblée de rappeler que, selon la jurisprudence, l'étranger disposant d'un droit de visite sur son enfant habilité à résider en Suisse peut en principe exercer ce droit même s'il vit à l'étranger. Un droit plus étendu peut exister (regroupement familial inversé) en présence, entre autres conditions, de liens familiaux particulièrement forts d'un point de vue affectif et économique. Il faut considérer qu'il existe un lien affectif particulièrement fort lorsque le droit de visite est aménagé de manière large et qu'il est exercé de manière régulière, spontanée et sans encombre (arrêt 2C_805/2011 du 16 février 2012 consid. 3.2 et les références). En l'occurrence, il était manifeste que le recourant, avouant ne voir son fils que deux fois par mois, ne remplissait pas les conditions jurisprudentielles ci-dessus rappelées. Toute administration de preuves complémentaire était dès lors inutile et l'autorité précédente pouvait, sans arbitraire, y renoncer sur la base d'une appréciation anticipée des preuves. Le grief de violation de l'art. 29 Cst. doit donc être rejeté.
3. Outre de violation du droit d'être entendu, grief examiné en relation avec l'art. 8 CEDH (cf. consid. 2 ci-dessus), le recourant se plaint de violation de l'art. 8 CEDH. La même motivation s'impose à cet égard: l'absence de liens familiaux particulièrement forts d'un point de vue affectif et économique entre le recourant et son fils permet de dénier à celui-là tout droit déduit de l'art. 8 CEDH. C'est donc à juste titre que l'autorité précédente a refusé de lui octroyer une autorisation de séjour en vertu de cette norme. Il peut pour le reste être renvoyé à la motivation de l'arrêt entrepris.
4. Le recours en matière de droit public doit ainsi être rejeté dans la mesure où il est recevable.
Dès lors que le recours était manifestement dénué de chances de succès, les recourants ne sauraient être mis au bénéfice de l'assistance judiciaire (cf. <ref-law>).
Succombant, les recourants supporteront les frais judiciaires, solidairement entre eux (cf. art. 66 al. 1 et 5 LTF) et n'ont pas droit à des dépens (cf. <ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge des recourants, solidairement entre eux.
3. Le présent arrêt est communiqué au mandataire des recourants, à l'Office fédéral des migrations, au Tribunal administratif fédéral, Cour III, ainsi qu'à l'Office cantonal de la population du canton de Genève.
Lausanne, le 19 mars 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin