Faits: A. K._ a déposé une demande tendant à l'octroi d'une indemnité de chômage dès le 1er juin 2003. Un délai-cadre d'indemnisation a été ouvert en sa faveur dès cette date jusqu'au 31 mai 2005. Par décision du 31 mai 2005, confirmée sur opposition le 30 mars 2006, la Caisse cantonale genevoise de chômage (ci-après: la caisse) a réclamé à l'assuré la restitution de la somme de 5'776 fr. 30, représentant des indemnités perçues indûment du 1er août 2003 au 31 janvier 2004. En effet, elle avait constaté que l'intéressé avait travaillé durant ladite période pour le compte de la société X._ SA, sans toutefois annoncer cette activité. Par jugement du 10 octobre 2006, le Tribunal cantonal des assurances sociales de la République et canton de Genève a rejeté le recours formé contre la décision sur opposition. L'assuré a sollicité la remise de son obligation de restituer en invoquant sa bonne foi. Par décision du 28 mars 2007, confirmée sur opposition le 4 septembre 2007, l'Office cantonal de l'emploi du canton de Genève (ci-après: l'OCE) a refusé d'accorder la remise, au motif que l'assuré ne pouvait se prévaloir de sa bonne foi. B. L'intéressé a déféré la décision sur opposition au tribunal cantonal des assurances sociales, lequel a rejeté le recours par jugement du 6 novembre 2007. C. K._ interjette un recours en matière de droit public contre ce jugement, dont il demande la réformation, en concluant à la remise de son obligation de restituer, subsidiairement au renvoi de la cause à la juridiction cantonale pour complément d'instruction, le tout sous suite de frais et dépens. L'office intimé conclut au rejet du recours, tandis que la caisse s'en remet à justice. De son côté, le Secrétariat d'Etat à l'économie (seco) a renoncé à présenter des déterminations.