Faits:
A. A._, de nationalité portugaise, est arrivé en Suisse en 1986. Il a épousé la même année une ressortissante suisse, avec laquelle il a eu deux enfants, nés en 1989 et 1990.
Le 27 août 1996, A._ a signé un contrat de bail portant sur une maison individuelle située à la route de C._ à D._, en France, pour un loyer mensuel de 1'750 fr. Le 27 septembre 1996, il a en outre signé un contrat de bail portant sur un studio sis à la rue E._ à L._, en Suisse, pour un loyer mensuel de 550 fr., avec effet au 1er octobre 1996.
Le 10 mai 1999, A._ s'est inscrit auprès de l'Office cantonal genevois de l'emploi (ci-après: OCE). Dans sa demande d'indemnités, il a indiqué être domicilié à la rue E._ à L._. En dernier lieu, il avait travaillé pour l'agence de voyages X._ SA jusqu'au 30 avril 1999, date à laquelle il avait été licencié. La lettre de résiliation du contrat de travail était signée par son épouse, C._. A._ a perçu des indemnités de chômage pour un montant de 91'756 fr. 60 entre le 10 mai 1999 et le 9 mai 2001.
Le 1er juin 2001, A._ et C._ ont fondé en France la société civile Y._, avec siège à leur adresse à D._, selon acte notarié. Le but de cette société est l'acquisition, la gestion et l'administration de biens immobiliers.
Ayant réalisé des gains intermédiaires chez X._ SA de juin 2000 à mai 2001, A._ a bénéficié d'un deuxième délai-cadre d'indemnisation du 1er juin 2001 au 31 mai 2003, pendant lequel il a perçu des indemnités de chômage d'un montant de 81'962 fr. 95.
Le 20 juin 2002, A._ et C._ ont loué un appartement sis à la rue F._ à D._ (F). Sur le formulaire du contrat était cochée la case "Habitation principale". Les époux ont résilié le contrat de bail avec effet au 31 juillet 2005.
Le 30 août 2002, la société Y._, représentée par le père de A._, a acquis un terrain à l'adresse G._ à H._ en France, destiné à la construction de deux villas à usage d'habitation. En 2004, deux villas ont été construites sur le territoire de la commune de H._ à la rue I._ ou G._, le permis de construire ayant été délivré au nom de la société Y._.
Après avoir bénéficié d'un emploi temporaire cantonal pour chômeur en fin de droits du 2 juin 2003 au 1er juin 2004, A._ s'est réinscrit à l'OCE et a bénéficié d'un troisième délai-cadre d'indemnisation courant du 2 juin 2004 au 1er juin 2006. Entre juin 2004 et décembre 2005, il a touché des indemnités de chômage pour un montant de 58'956 fr. 45. A partir du 1er décembre 2005, l'intéressé a été mis au bénéficie du revenu minimal cantonal d'aide sociale à L._.
Dès le 1er août 2006, A._ s'est vu attribuer un appartement HBM (habitation bon marché) de 4,5 pièces à la rue J._ à L._.
C._ a bénéficié d'un délai-cadre d'indemnisation du 1er avril 2007 au 31 mars 2009. Dans sa demande de prestations, elle a indiqué être domiciliée à la rue J._ à L._ et avoir travaillé du 1er juillet 1997 au 31 mars 2007 pour X._ SA, qui l'avait licenciée pour des motifs économiques. Elle a par ailleurs répondu par la négative à la question de savoir si elle ou son conjoint possédait une participation financière dans l'entreprise ou une fonction dirigeante au sein de celle-ci. Durant les mois d'avril et mai 2007, C._ a perçu des indemnités de chômage à hauteur de 1'685 fr. 60.
En juin 2007, la Caisse cantonale genevoise de chômage (ci-après: la caisse) a appris par la police judiciaire, qui enquêtait sur l'activité de A._ au sein de l'agence X._ SA à la suite de plusieurs plaintes pénales déposées contre lui, que le prénommé n'était pas domicilié à L._ mais en France. Soupçonnant les époux d'avoir obtenu indûment des indemnités de chômage, la caisse a sollicité la consultation du dossier pénal. Sur la base des informations obtenues, la caisse a constaté que A._ était domicilié en France depuis le 1er septembre 1996 alors qu'il avait bénéficié d'indemnités de chômage durant trois délais-cadres, ouverts respectivement du 10 mai 1999 au 9 mai 2001, du 1er juin 2001 au 31 mai 2003 et du 2 juin 2004 au 1er juin 2006. Par décision du 3 octobre 2008, la caisse a nié le droit aux indemnités de chômage en faveur de A._ pour les périodes du 10 mai 1999 au 9 mai 2001, du 1er juin 2001 au 31 mai 2003 et du 2 juin 2004 au 21 décembre 2005 et exigé la restitution des indemnités perçues indûment durant les périodes susmentionnées, à raison de 232'676 fr. Saisie d'une opposition de l'intéressé, la caisse l'a écartée dans une nouvelle décision du 31 juillet 2009. Par décision du 7 octobre 2008, la caisse a également nié le droit aux indemnités de chômage en faveur de C._ pour la période du 1er avril au 31 mai 2007 et exigé la restitution des indemnités perçues indûment durant cette période, à raison de 1'685 fr. 60. Saisie d'une opposition de l'intéressée, la caisse l'a écartée dans une nouvelle décision du 31 juillet 2009. Le même jour, la caisse a également déposé plainte pénale contre les époux en raison des faits susmentionnés.
B. Par actes du 14 septembre 2009, A._ et C._ ont recouru contre la décision sur opposition les concernant. Le 17 novembre 2009, la juridiction cantonale a ordonné la jonction des causes, laquelle a été contestée par les époux. Par arrêt du 4 janvier 2010, le Tribunal fédéral a déclaré irrecevable le recours contre l'ordonnance de jonction, dès lors que celle-ci ne causait pas un préjudice irréparable. Entre-temps, la Chambre des assurances sociales de la Cour de justice a rejeté le recours de A._ contre une décision de restitution des prestations d'aide sociale versées par l'Hospice général (jugement du 2 février 2011, confirmé par le Tribunal fédéral le 20 avril 2011).
Par jugement du 14 septembre 2011, la Chambre des assurances sociales de la Cour de justice a rejeté les recours formés contre les décisions sur opposition de la caisse par B._ et A._.
C. A._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. A titre principal, il conclut à ne pas devoir rembourser la somme de 232'676 fr. Subsidiairement, il conclut au renvoi de la cause à la juridiction cantonale pour examen des conditions de l'<ref-law> et nouvelle décision. En outre, il sollicite le bénéfice de l'assistance judiciaire, ainsi que la désignation de son conseil comme d'avocat d'office.
La caisse conclut au rejet du recours.
D. Par ordonnance du 14 mai 2012, la Ire Cour de droit social du Tribunal fédéral a rejeté la demande d'assistance judiciaire, au motif que le recours apparaissait voué à l'échec.

Considérant en droit:
1. Bien que le recourant conclue à l'annulation du jugement attaqué, il ressort tant de ses conclusions que de ses motifs qu'il ne s'en prend à celui-ci que dans la mesure où il le concerne.
La question est donc de savoir si c'est à juste titre que l'OCE a nié, avec effet rétroactif, le droit du recourant à l'indemnité de chômage pour les périodes durant lesquelles un délai-cadre d'indemnisation avait été ouvert en sa faveur.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Aucun fait nouveau ni aucune preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>).
3. 3.1 Le droit à l'indemnité de chômage suppose, selon l'art. 8 al. 1 let. c LACI, la résidence effective en Suisse, ainsi que l'intention de conserver cette résidence pendant un certain temps et d'en faire, durant cette période, le centre de ses relations personnelles (<ref-ruling> consid. 3 p. 172; <ref-ruling> consid. 2a p. 466; <ref-ruling> consid. 1b p. 449).
3.2 Se fondant notamment sur les faits constatés dans leur jugement du 2 février 2011 dans une cause parallèle opposant le recourant à l'Hospice général ainsi que sur les pièces de la procédure pénale, les premiers juges ont retenu que les époux résidaient et avaient leur domicile en France depuis 1996, de sorte que durant les périodes du 10 mai 1999 au 9 mai 2001 et du 1er juin 2001 au 31 mai 2002, le recourant avait perçu des indemnités de chômage de manière indue. Pour la période postérieure à l'entrée en vigueur, le 1er juin 2002, de l'Accord du 21 juin 1999 entre la Confédération suisse d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), les premiers juges se sont demandés si le recourant pouvait être considéré comme un travailleur frontalier atypique et donc bénéficier à ce titre des prestations de l'assurance-chômage suisse. Ils ont répondu par la négative à cette question dès lors que le recourant n'avait pas conservé, en dehors de son travail, des liens suffisamment étroits avec la Suisse. Au demeurant, les premiers juges ont constaté qu'en tant que son épouse revêtait une position d'employeur au sein de la société X._ SA, le recourant ne remplissait pas les conditions légales pour bénéficier des indemnités de chômage.
Examinant ensuite si les conditions formelles pour demander la restitution des prestations étaient remplies, la juridiction cantonale a considéré que le versement des indemnités de chômage était manifestement erroné et qu'au vu des montants en cause, la rectification de cette erreur revêtait une importance notable. Par ailleurs, la décision du 3 octobre 2008, par laquelle la caisse a notamment exigé la restitution des indemnités de chômage perçues indûment, respectait le délai d'une année de l'<ref-law>. En ce qui concerne les prestations versées au recourant pendant la période de juin 2004 à décembre 2005, celles-ci n'étaient pas atteintes par la prescription absolue de cinq ans à compter de la décision du 3 octobre 2008. Tel n'était pas le cas pour les indemnités accordées au recourant de mai 1999 à mai 2001 et de juin 2001 à mai 2003. Toutefois, ces créances en restitution étant nées d'une escroquerie, c'est le délai pénal, lequel était de dix ans jusqu'au 30 septembre 2002 (puis de quinze ans depuis le 1er octobre 2002), qui s'appliquait, de sorte que les prétentions en restitution des prestations octroyées à partir de 1999 n'étaient pas non plus prescrites, moins de dix ans s'étant écoulés entre la commission de l'infraction et la décision du 3 octobre 2008.
4. 4.1 Dans un premier moyen, le recourant soutient qu'en se fondant sur les pièces d'une procédure pénale dont l'apport n'aurait pas été ordonné et à l'égard de laquelle il n'aurait pas eu l'occasion de se prononcer, les premiers juges ont violé son droit d'être entendu. Or, la juridiction cantonale se serait fondée sur lesdites pièces pour retenir que le recourant était domicilié en France depuis 1996, qu'il aurait occupé une position d'administrateur de fait dans l'entreprise X._ SA, respectivement qu'il aurait été occupé dans cette entreprise.
Contrairement à ce que prétend le recourant, les pièces de la procédure pénale ont été versées au dossier de la présente procédure et rien n'indique que l'intéressé n'a pas eu la possibilité de se déterminer à leur sujet. Par ailleurs, contrairement à ce qu'il affirme, le recourant a aussi pu s'exprimer sur lesdites pièces dans le cadre de la procédure parallèle l'opposant à l'Hospice général (cf. arrêt du Tribunal fédéral du 20 avril 2011, consid. B.c [8C_192/2011]). Dans ces conditions, son droit d'être entendu n'a pas été violé. En ce qui concerne les faits sur lesquels se sont fondés les premiers juges pour établir que le recourant était domicilié en France, ce dernier ne démontre pas en quoi ils seraient manifestement inexacts. Sur la base de ces faits, la juridiction cantonale était fondée à conclure qu'il était domicilié en France depuis 1996. Le recourant conteste en outre avoir eu la qualité d'administrateur de fait au sein de la société X._ SA. Il n'y a pas lieu d'examiner plus avant la question des relations du recourant avec cette société attendu que l'absence de domicile en Suisse est déjà un motif suffisant pour nier le droit à des prestations de l'assurance-chômage, à tout le moins pour la période antérieure au 1er janvier 2002. Pour la période postérieure à l'entrée en vigueur, le 1er juin 2002, de l'ALCP, le recourant ne démontre pas en quoi les premiers juges auraient mal appliqué l'art. 71 du Règlement 1408/71 en niant sa qualité de travailleur frontalier atypique, ni en quoi il aurait procédé à une constatation manifestement inexacte des faits en retenant qu'il n'avait pas conservé, en dehors de son travail, des liens suffisamment étroits avec la Suisse. A cet égard, le recourant se contente d'opposer sa propre interprétation du dossier à celle retenue par le tribunal.
4.2 S'agissant de la péremption du droit de la caisse de réclamer la restitution, il n'est guère contestable que les premiers juges étaient fondés à appliquer, pour les prestations octroyées à partir de 1999, le délai de plus longue durée du droit pénal (cf. SJ 2011 I p. 288, 6B_576/2010; cf. aussi <ref-ruling>). Le recourant soutient certes que c'est de manière arbitraire que les premiers juges ont retenu l'existence d'une escroquerie, plus particulièrement que son dessein d'enrichissement était illégitime. Invoquant ignorer la différence entre la notion de domicile au sens de la LACI et celle en droit civil, il prétend qu'en ayant gardé son domicile civil à L._, il ne pouvait se rendre compte qu'il n'avait pas droit à des prestations de l'assurance-chômage suisse.
Ses explications sont dépourvues de crédibilité. Il ressort des constatations du jugement attaqué que le recourant a signé trois demandes d'indemnités de chômage sur lesquelles il a déclaré être domicilié à la rue E._ à L._. Le fait d'indiquer une adresse à L._ alors que lui-même et sa famille habitaient en France montre qu'il a voulu taire des informations à l'administration, lesquelles - comme l'ont relevé les premiers juges - ne pouvaient être vérifiées que par une enquête qui n'est pas systématiquement ordonnée.
S'agissant des autres éléments constitutifs de l'escroquerie, on peut renvoyer au jugement attaqué. Le délai de dix ans du droit pénal étant par conséquent applicable à la créance en restitution des prestations de chômage indûment perçues, celle-ci n'était pas prescrite au moment de la décision du 3 octobre 2008.
4.3 Mal fondé, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Il n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 31 août 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin