Faits:
A. A._, employée en qualité de secrétaire médicale à l'Hôpital X._, a reçu son congé pour le 31 décembre 2010 par courrier recommandé du 16 novembre 2010. Le 6 janvier 2011, l'intéressée s'est annoncée à l'Office cantonal de l'emploi (ci-après: l'OCE). Le 11 janvier 2011, elle a remis à l'Office régional de placement (ORP) deux formulaires de preuves de recherches d'emploi pour les mois de novembre et décembre 2010. Il en ressort qu'elle a fait une offre le 25 novembre 2010 et trois autres les 1er, 7 et 9 décembre 2010 en qualité de secrétaire médicale, secrétaire réceptionniste ou encore assistante administrative.
Par décision du 23 février 2011, l'ORP a prononcé la suspension du droit de l'intéressée à l'indemnité de chômage pour une durée de quatre jours à compter du 1er février 2011, motif pris d'un nombre de recherches insuffisant pendant la période précédant son inscription à l'OCE. L'assurée s'étant opposée à cette décision, l'OCE l'a confirmée par une nouvelle décision du 21 avril 2011.
B. Par écriture du 4 mai 2011, l'assurée a recouru contre cette décision devant la Chambre des assurances sociales de la Cour de justice du canton de Genève en concluant à son annulation. Invité à se déterminer sur le recours, l'OCE, dans sa réponse du 31 mai 2011, a conclu au rejet du recours.
Par jugement du 3 novembre 2011, la Cour de justice a rejeté le recours.
C. A._ interjette un recours en matière de droit public contre ce jugement dont elle demande l'annulation, en concluant au renvoi de la cause à la juridiction cantonale. Elle sollicite l'octroi de l'effet suspensif.
L'OCE conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie (SECO) a renoncé à se déterminer.

Considérant en droit:
1. Le litige porte sur le point de savoir si l'OCE était fondé, par sa décision sur opposition du 21 avril 2011, à suspendre le droit de la recourante à l'indemnité de chômage pour une durée de quatre jours, motif pris qu'elle n'avait pas fait suffisamment de recherches d'emploi pendant la période précédant son inscription à l'assurance-chômage.
2. La recourante invoque une violation de son droit d'être entendue garanti à l'art. 29 al. 2 Cst., plus particulièrement de son droit à la réplique. Elle fait valoir que le tribunal cantonal lui a transmis les observations de l'intimé sur son recours pour information seulement, sans mentionner qu'elle pouvait répliquer.
3. 3.1 Le droit d'être entendu est une garantie constitutionnelle de nature formelle, dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (<ref-ruling> consid. 3d/aa p. 437). Ce moyen doit par conséquent être examiné en premier lieu (<ref-ruling> consid. 1 p. 50) et avec un plein pouvoir d'examen (<ref-ruling> consid. 3 p. 194 et la jurisprudence citée).
Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 Cst. et 6 CEDH, le droit d'être entendu garantit notamment le droit pour une partie à un procès de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Selon la jurisprudence, il appartient aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déterminants qui appellent des observations de leur part. Ce droit à la réplique vaut pour toutes les procédures judiciaires. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (<ref-ruling> consid. 2 p. 197 s.; <ref-ruling> consid. 4.5 p. 103; <ref-ruling> consid. 2.2 p. 99; <ref-ruling> consid. 3.3.2-3.3.4 p. 46 s.; arrêts 5A_791/2010 du 23 mars 2011 consid. 2.3.1; 5D_8/2011 du 8 mars 2011 consid. 2.1; 4D_111/2010 du 19 janvier 2011 consid. 2.1; cf. en outre les arrêts de la Cour européenne des droits de l'homme dans les causes Schaller-Bossert contre Suisse du 28 octobre 2010 § 39 s. et Nideröst-Huber contre Suisse du 18 février 1997, Recueil CourEDH 1997-I p. 101 § 24).
En relation avec une telle communication, le tribunal a la possibilité d'ordonner un second échange d'écritures, ce qu'il fait cependant exceptionnellement (cf. en ce sens l'<ref-law>) ou lorsque les circonstances le justifient (cf. <ref-law>). S'il y renonce, il doit néanmoins transmettre la prise de position ou pièce nouvelle à l'autre ou aux autres parties. Au vu de la jurisprudence de la Cour européenne des droits de l'homme, en particulier des récents arrêts Schaller-Bossert contre Suisse du 28 octobre 2010 § 39 ss et Ellès et autres contre Suisse du 16 décembre 2010 § 26 ss, il convient, afin de respecter le droit d'être entendu, que l'autorité judiciaire transmette la prise de position ou pièce nouvelle pour information et impartisse un délai pour le dépôt d'observations éventuelles, ce qui vaut tout particulièrement lorsque la partie n'est pas représentée par un avocat (cf. arrêt 5A_779/2010 du 1er avril 2011 consid. 2.2).
3.2 En l'espèce, il est constant que la juridiction cantonale a transmis à la recourante (par lettre du 6 juin 2011), qui n'était pas représentée par un avocat, la réponse de l'intimé pour information, sans lui octroyer un délai pour déposer ses observations éventuelles. C'est donc à bon droit, sur le vu de la jurisprudence susmentionnée, que la recourante invoque une violation de son droit à la réplique.
Le recours doit donc être admis pour ce motif, sans qu'il soit nécessaire d'examiner les autres griefs soulevés par la recourante. La décision attaquée doit par conséquent être annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision prise dans le respect du droit à la réplique défini ci-dessus. L'admission du recours rend en outre sans objet la requête d'effet suspensif.
4. L'intimé, qui succombe, supportera les frais judiciaires (<ref-law>). Il versera en outre une indemnité de dépens à la recourante, qui obtient gain de cause (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. La décision de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 3 novembre 2011 est annulée et la cause renvoyée à cette dernière pour nouveau jugement dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera à la recourante la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 26 juin 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin