Faits:
A. C._ a été mise au bénéfice d'un délai-cadre d'indemnisation pour la période du 26 mars 2010 au 25 mars 2012.
Par décision du 18 mai 2011, l'Office régional de placement (ci-après: l'ORP) a prononcé une suspension du droit à l'indemnité de chômage pour une durée de cinq jours pour recherches d'emploi «nulles» durant le mois d'avril 2011. L'assurée s'est opposée à cette décision, faisant valoir qu'elle avait été dans l'incapacité d'écrire durant la période concernée et au-delà car elle s'était cassé le bras le 25 avril 2011. Elle a produit un certificat médical établissant une incapacité de travail totale jusqu'au 7 mai 2011.
C._ a fait parvenir à l'ORP le formulaire de preuves de recherches d'emploi pour le mois d'avril 2011, non daté ni signé, le 19 mai 2011. Il en ressort que l'assurée a effectué sept offres d'emploi par écrit en vue de retrouver une activité à plein temps en qualité de gestionnaire administrative ou secrétaire.
Par décision sur opposition du 24 juin 2011, l'Office cantonal de l'emploi (ci-après: l'OCE) a rejeté l'opposition de l'assurée.
B. C._ a recouru contre cette décision devant la Cour de justice du canton de Genève, Chambre des assurances sociales.
Par jugement du 24 novembre 2011, la juridiction cantonale a partiellement admis le recours, en ce sens qu'elle a réduit la suspension du droit à l'indemnité de chômage à trois jours.
C. L'OCE interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. C._ ne s'est pas déterminée sur le recours.

Considérant en droit:
1. Le recourant conteste la diminution de la durée de la suspension du droit à l'indemnité de chômage prononcée par les premiers juges. Selon lui, en constatant qu'une sanction de cinq jours était disproportionnée dans le cas d'espèce, les premiers juges ont méconnu le but de l'<ref-law> (dans sa version en vigueur depuis le 1er avril 2011), qui est de traiter de façon identique les assurés ayant omis de remettre leurs recherches d'emploi dans le délai légal et ceux n'en ayant pas effectuées du tout.
2. 2.1 Selon l'<ref-law>, la durée de la suspension est proportionnelle à la gravité de la faute. En vertu de l'<ref-law>, elle est de 1 à 15 jours en cas de faute légère, de 16 à 30 jours en cas de faute de gravité moyenne et de 31 à 60 jours en cas de faute grave.
La durée de la suspension du droit à l'indemnité de chômage est fixée compte tenu non seulement de la faute, mais également du principe de proportionnalité (Thomas Nussbaumer, Arbeitslosenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 2ème éd., n° 855, p. 2435). En tant qu'autorité de surveillance, le seco a adopté un barème (indicatif) à l'intention des organes d'exécution. Un tel barème constitue un instrument précieux pour ces organes d'exécution lors de la fixation de la sanction et contribue à une application plus égalitaire des sanctions dans les différents cantons. Cela ne dispense cependant pas les autorités décisionnelles d'apprécier le comportement de l'assuré compte tenu de toutes les circonstances - tant objectives que subjectives - du cas d'espèce et de fixer la sanction en fonction de la faute.
2.2 La quotité de la suspension du droit à l'indemnité de chômage dans un cas concret constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire au droit, soit si elle a commis un excès positif ("Ermessensüberschreitung") ou négatif ("Ermessensunterschreitung") de son pouvoir d'appréciation ou a abusé ("Ermessensmissbrauch") de celui-ci (arrêt 8C_658/2009 du 19 janvier 2010 consid. 1.2; arrêt 8C_31/2007 du 25 septembre 2007 consid. 3.1, non publié in <ref-ruling> mais dans SVR 2008 ALV n° 12 p. 35). Il y a abus du pouvoir d'appréciation lorsque l'autorité, tout en restant dans les limites du pouvoir d'appréciation qui est le sien, se fonde sur des considérations qui manquent de pertinence et sont étrangères au but visé par les dispositions légales applicables, ou viole des principes généraux du droit tels que l'interdiction de l'arbitraire et de l'inégalité de traitement, le principe de la bonne foi et le principe de la proportionnalité (<ref-ruling> consid. 2 p. 152 et les références). Commet un excès positif de son pouvoir d'appréciation, l'autorité qui exerce son appréciation alors que la loi l'exclut, ou qui, au lieu de choisir entre les deux solutions possibles, en adopte une troisième. Il y a également excès du pouvoir d'appréciation dans le cas où l'excès de pouvoir est négatif, soit lorsque l'autorité considère qu'elle est liée, alors que la loi l'autorise à statuer selon son appréciation, ou qu'elle renonce d'emblée en tout ou partie à exercer son pouvoir d'appréciation (<ref-ruling> consid. 2 p. 310 et les références).
3. 3.1 Sous l'empire de l'ancien droit, quand un assuré ne respectait pas le délai de l'<ref-law>, mais faisait parvenir ses recherches d'emploi dans le délai supplémentaire qui lui avait été imparti par l'office compétent, il n'y avait pas de place pour prononcer une suspension selon l'art. 30 al. 1 let. d LACI (cf. arrêt 8C_183/2008 du 27 juin 2008 consid. 3).
Depuis le 1er avril 2011, la sanction prévue par l'<ref-law> - qui est la non prise en compte des recherches d'emploi - intervient déjà si les justificatifs ne sont pas remis à l'expiration du délai réglementaire, c'est-à-dire au plus tard le cinq du mois suivant ou le premier jour ouvrable qui suit cette date. Toutefois, cela ne signifie pas encore, quoi qu'en dise le recourant, qu'une sanction identique doit s'imposer lorsque l'assuré ne fait aucune recherche d'emploi ou lorsqu'il produit ses recherches après le délai, surtout s'il s'agit d'un léger retard qui a lieu pour la première fois pendant la période de contrôle.
3.2 En l'espèce, les premiers juges ont constaté que l'intimée avait remis la preuve de ses recherches d'emploi pour le mois d'avril 2011 le 19 mai suivant, alors qu'elle aurait dû le faire le 5 mai au plus tard. L'intimée avait cependant fait des recherches dont la qualité et la quantité n'avaient pas été contestées par le recourant.
D'après la juridiction cantonale, en omettant de poster à temps la preuve de ses recherches d'emploi, pour la première fois, et compte tenu du fait qu'elle avait fait des efforts suffisants pour trouver un travail convenable, eu égard à la quantité et la qualité des démarches entreprises durant le mois d'avril 2011, l'assurée avait commis une faute légère. Aussi, la suspension de l'indemnité pendant cinq jours ne respectait-elle pas le principe de proportionnalité, de sorte qu'il y avait lieu de s'écarter du barème du seco et de réduire la suspension de l'indemnité à trois jours. Bien qu'un retard de quatorze jours pour déposer ses recherches d'emploi ne saurait être qualifié de léger, les éléments retenus par la juridiction cantonale pour justifier une réduction de la quotité de la suspension du droit à l'indemnité de chômage dans le cas d'espèce n'excèdent pas les limites de son pouvoir d'appréciation. Du reste, le recourant ne démontre pas que la juridiction cantonale aurait exercé son pouvoir d'appréciation de manière contraire au droit (cf. supra consid. 2.2). Partant, le recours est mal fondé.
4. Bien qu'il succombe, le recourant ne peut se voir imposer des frais de justice (<ref-law>; <ref-ruling> consid. 4.5 p. 641 s.).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 26 juin 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin