Faits: A. A._, de nationalité portugaise, est arrivé en Suisse en 1986. Il a épousé la même année une ressortissante suisse, avec laquelle il a eu deux enfants, nés en 1989 et 1990. Le 27 août 1996, A._ a signé un contrat de bail portant sur une maison individuelle située à la route de C._ à D._, en France, pour un loyer mensuel de 1'750 fr. Le 27 septembre 1996, il a en outre signé un contrat de bail portant sur un studio sis à la rue E._ à L._, en Suisse, pour un loyer mensuel de 550 fr., avec effet au 1er octobre 1996. Le 10 mai 1999, A._ s'est inscrit auprès de l'Office cantonal genevois de l'emploi (ci-après: OCE). Dans sa demande d'indemnités, il a indiqué être domicilié à la rue E._ à L._. En dernier lieu, il avait travaillé pour l'agence de voyages X._ SA jusqu'au 30 avril 1999, date à laquelle il avait été licencié. La lettre de résiliation du contrat de travail était signée par son épouse, C._. A._ a perçu des indemnités de chômage pour un montant de 91'756 fr. 60 entre le 10 mai 1999 et le 9 mai 2001. Le 1er juin 2001, A._ et C._ ont fondé en France la société civile Y._, avec siège à leur adresse à D._, selon acte notarié. Le but de cette société est l'acquisition, la gestion et l'administration de biens immobiliers. Ayant réalisé des gains intermédiaires chez X._ SA de juin 2000 à mai 2001, A._ a bénéficié d'un deuxième délai-cadre d'indemnisation du 1er juin 2001 au 31 mai 2003, pendant lequel il a perçu des indemnités de chômage d'un montant de 81'962 fr. 95. Le 20 juin 2002, A._ et C._ ont loué un appartement sis à la rue F._ à D._ (F). Sur le formulaire du contrat était cochée la case "Habitation principale". Les époux ont résilié le contrat de bail avec effet au 31 juillet 2005. Le 30 août 2002, la société Y._, représentée par le père de A._, a acquis un terrain à l'adresse G._ à H._ en France, destiné à la construction de deux villas à usage d'habitation. En 2004, deux villas ont été construites sur le territoire de la commune de H._ à la rue I._ ou G._, le permis de construire ayant été délivré au nom de la société Y._. Après avoir bénéficié d'un emploi temporaire cantonal pour chômeur en fin de droits du 2 juin 2003 au 1er juin 2004, A._ s'est réinscrit à l'OCE et a bénéficié d'un troisième délai-cadre d'indemnisation courant du 2 juin 2004 au 1er juin 2006. Entre juin 2004 et décembre 2005, il a touché des indemnités de chômage pour un montant de 58'956 fr. 45. A partir du 1er décembre 2005, l'intéressé a été mis au bénéficie du revenu minimal cantonal d'aide sociale à L._. Dès le 1er août 2006, A._ s'est vu attribuer un appartement HBM (habitation bon marché) de 4,5 pièces à la rue J._ à L._. C._ a bénéficié d'un délai-cadre d'indemnisation du 1er avril 2007 au 31 mars 2009. Dans sa demande de prestations, elle a indiqué être domiciliée à la rue J._ à L._ et avoir travaillé du 1er juillet 1997 au 31 mars 2007 pour X._ SA, qui l'avait licenciée pour des motifs économiques. Elle a par ailleurs répondu par la négative à la question de savoir si elle ou son conjoint possédait une participation financière dans l'entreprise ou une fonction dirigeante au sein de celle-ci. Durant les mois d'avril et mai 2007, C._ a perçu des indemnités de chômage à hauteur de 1'685 fr. 60. En juin 2007, la Caisse cantonale genevoise de chômage (ci-après: la caisse) a appris par la police judiciaire, qui enquêtait sur l'activité de A._ au sein de l'agence X._ SA à la suite de plusieurs plaintes pénales déposées contre lui, que le prénommé n'était pas domicilié à L._ mais en France. Soupçonnant les époux d'avoir obtenu indûment des indemnités de chômage, la caisse a sollicité la consultation du dossier pénal. Sur la base des informations obtenues, la caisse a constaté que A._ était domicilié en France depuis le 1er septembre 1996 alors qu'il avait bénéficié d'indemnités de chômage durant trois délais-cadres, ouverts respectivement du 10 mai 1999 au 9 mai 2001, du 1er juin 2001 au 31 mai 2003 et du 2 juin 2004 au 1er juin 2006. Par décision du 3 octobre 2008, la caisse a nié le droit aux indemnités de chômage en faveur de A._ pour les périodes du 10 mai 1999 au 9 mai 2001, du 1er juin 2001 au 31 mai 2003 et du 2 juin 2004 au 21 décembre 2005 et exigé la restitution des indemnités perçues indûment durant les périodes susmentionnées, à raison de 232'676 fr. Saisie d'une opposition de l'intéressé, la caisse l'a écartée dans une nouvelle décision du 31 juillet 2009. Par décision du 7 octobre 2008, la caisse a également nié le droit aux indemnités de chômage en faveur de C._ pour la période du 1er avril au 31 mai 2007 et exigé la restitution des indemnités perçues indûment durant cette période, à raison de 1'685 fr. 60. Saisie d'une opposition de l'intéressée, la caisse l'a écartée dans une nouvelle décision du 31 juillet 2009. Le même jour, la caisse a également déposé plainte pénale contre les époux en raison des faits susmentionnés. B. Par actes du 14 septembre 2009, A._ et C._ ont recouru contre la décision sur opposition les concernant. Le 17 novembre 2009, la juridiction cantonale a ordonné la jonction des causes, laquelle a été contestée par les époux. Par arrêt du 4 janvier 2010, le Tribunal fédéral a déclaré irrecevable le recours contre l'ordonnance de jonction, dès lors que celle-ci ne causait pas un préjudice irréparable. Entre-temps, la Chambre des assurances sociales de la Cour de justice a rejeté le recours de A._ contre une décision de restitution des prestations d'aide sociale versées par l'Hospice général (jugement du 2 février 2011, confirmé par le Tribunal fédéral le 20 avril 2011). Par jugement du 14 septembre 2011, la Chambre des assurances sociales de la Cour de justice a rejeté les recours formés contre les décisions sur opposition de la caisse par B._ et A._. C. A._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. A titre principal, il conclut à ne pas devoir rembourser la somme de 232'676 fr. Subsidiairement, il conclut au renvoi de la cause à la juridiction cantonale pour examen des conditions de l'art. 25 al. 1 LPGA et nouvelle décision. En outre, il sollicite le bénéfice de l'assistance judiciaire, ainsi que la désignation de son conseil comme d'avocat d'office. La caisse conclut au rejet du recours. D. Par ordonnance du 14 mai 2012, la Ire Cour de droit social du Tribunal fédéral a rejeté la demande d'assistance judiciaire, au motif que le recours apparaissait voué à l'échec.