Faits:
A. F._ s'est inscrite au chômage le 27 septembre 2010. Le 30 mars 2011, elle a été assignée à un programme emploi et formation au titre de mesure relative au marché du travail. La décision précisait que l'assurée devait poursuivre ses recherches d'emploi et les faire parvenir chaque mois. Le formulaire de preuve de recherches d'emploi faites par l'assurée au cours du mois de juin 2011 a été reçu en mains propres par un collaborateur de l'Office cantonal de l'emploi (ci-après: l'OCE) le 11 juillet 2011.
Par décision du 3 août 2011, confirmée sur opposition le 24 août 2011, l'OCE a sanctionné l'assurée pour recherches d'emploi «nulles» durant le mois de juin et a prononcé une suspension du droit à l'indemnité de cinq jours.
B. F._ a recouru contre cette décision devant la Cour de justice de Genève, Chambre des assurances sociales, en demandant à ce que la sanction soit réexaminée.
Par jugement du 17 novembre 2011, la juridiction cantonale a admis le recours, annulé la décision sur opposition du 24 août 2011 et fixé la suspension du droit à l'indemnité de chômage à un jour.
C. Le Secrétariat d'Etat à l'économie (seco) interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à ce qu'il soit constaté que la suspension de cinq jours ne viole pas le principe de proportionnalité et à la confirmation de cette sanction.

Considérant en droit:
1. Le recourant ne remet pas en cause le fait que l'intimée a commis une faute légère mais conteste exclusivement la diminution de la durée de la suspension du droit à l'indemnité de chômage prononcée par les premiers juges. Selon lui, en constatant qu'une sanction de cinq jours était disproportionnée dans le cas d'espèce, les premiers juges ont méconnu le but de l'<ref-law> (dans sa version en vigueur depuis le 1er avril 2011), qui est de traiter de façon identique les assurés ayant omis de remettre leurs recherches d'emploi dans le délai légal et ceux n'en ayant pas effectuées du tout.
2. 2.1 Selon l'<ref-law>, la durée de la suspension est proportionnelle à la gravité de la faute. En vertu de l'<ref-law>, elle est de 1 à 15 jours en cas de faute légère, de 16 à 30 jours en cas de faute de gravité moyenne et de 31 à 60 jours en cas de faute grave.
La durée de la suspension du droit à l'indemnité de chômage est fixée compte tenu non seulement de la faute, mais également du principe de proportionnalité (Thomas Nussbaumer, Arbeitslosenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 2ème éd., n° 855, p. 2435). En tant qu'autorité de surveillance, le seco a adopté un barème (indicatif) à l'intention des organes d'exécution. Un tel barème constitue un instrument précieux pour ces organes d'exécution lors de la fixation de la sanction et contribue à une application plus égalitaire des sanctions dans les différents cantons. Cela ne dispense cependant pas les autorités décisionnelles d'apprécier le comportement de l'assuré compte tenu de toutes les circonstances - tant objectives que subjectives - du cas d'espèce et de fixer la sanction en fonction de la faute.
2.2 La quotité de la suspension du droit à l'indemnité de chômage dans un cas concret constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire au droit, soit si elle a commis un excès positif ("Ermessensüberschreitung") ou négatif ("Ermessensunterschreitung") de son pouvoir d'appréciation ou a abusé ("Ermessensmissbrauch") de celui-ci (arrêt 8C_658/2009 du 19 janvier 2010 consid. 1.2; arrêt 8C_31/2007 du 25 septembre 2007 consid. 3.1, non publié in <ref-ruling> mais dans SVR 2008 ALV n° 12 p. 35). Il y a abus du pouvoir d'appréciation lorsque l'autorité, tout en restant dans les limites du pouvoir d'appréciation qui est le sien, se fonde sur des considérations qui manquent de pertinence et sont étrangères au but visé par les dispositions légales applicables, ou viole des principes généraux du droit tels que l'interdiction de l'arbitraire et de l'inégalité de traitement, le principe de la bonne foi et le principe de la proportionnalité (<ref-ruling> consid. 2 p. 152 et les références). Commet un excès positif de son pouvoir d'appréciation, l'autorité qui exerce son appréciation alors que la loi l'exclut, ou qui, au lieu de choisir entre les deux solutions possibles, en adopte une troisième. Il y a également excès du pouvoir d'appréciation dans le cas où l'excès de pouvoir est négatif, soit lorsque l'autorité considère qu'elle est liée, alors que la loi l'autorise à statuer selon son appréciation, ou qu'elle renonce d'emblée en tout ou partie à exercer son pouvoir d'appréciation (<ref-ruling> consid. 2 p. 310 et les références).
3. 3.1 Sous l'empire de l'ancien droit, quand un assuré ne respectait pas le délai de l'<ref-law>, mais faisait parvenir ses recherches d'emploi dans le délai supplémentaire qui lui avait été imparti par l'office compétent, il n'y avait pas de place pour prononcer une suspension selon l'art. 30 al. 1 let. d LACI (cf. arrêt 8C_183/2008 du 27 juin 2008 consid. 3).
Depuis le 1er avril 2011, la sanction prévue par l'<ref-law> - qui est la non prise en compte des recherches d'emploi - intervient déjà si les justificatifs ne sont pas remis à l'expiration du délai réglementaire, c'est-à-dire au plus tard le cinq du mois suivant ou le premier jour ouvrable qui suit cette date. Toutefois, cela ne signifie pas encore, quoi qu'en dise le recourant, qu'une sanction identique doit s'imposer lorsque l'assuré ne fait aucune recherche d'emploi ou lorsqu'il produit ses recherches après le délai, surtout s'il s'agit d'un léger retard qui a lieu pour la première fois pendant la période de contrôle.
3.2 En l'espèce, les premiers juges ont constaté que l'intimée avait préparé le 30 juin 2011 le formulaire de preuve de recherches faites durant le mois de juin et qu'elle avait l'intention de le poster ou le déposer entre le 30 juin et le 4 juillet, comme elle l'avait toujours fait au cours des mois précédents. Elle l'avait cependant oublié puis avait remis ce formulaire le premier jour ouvrable utile suivant la fin de la semaine écoulée, soit le lundi 11 juillet, avec 5 jours de retard.
D'après la juridiction cantonale, en remettant ses recherches avec un bref retard, pour la première fois, et compte tenu de la qualité de celles-ci, l'assurée avait commis une faute très légère. Aussi, la suspension de l'indemnité pendant cinq jours ne respectait-elle pas le principe de proportionnalité, de sorte qu'il y avait lieu de s'écarter du barème du seco et de prononcer une suspension d'un seul jour de l'indemnité. Les éléments retenus par la juridiction cantonale pour justifier une réduction de la quotité de la suspension du droit à l'indemnité de chômage dans le cas d'espèce n'excèdent pas les limites de son pouvoir d'appréciation. Du reste, le recourant ne démontre pas que la juridiction cantonale aurait exercé son pouvoir d'appréciation de manière contraire au droit (cf. supra consid. 2.2) en réduisant la durée de la suspension au minimum prévu par l'<ref-law>. Partant, le recours est mal fondé.
4. Bien qu'il succombe, le recourant ne peut se voir imposer des frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, à l'Office cantonal de l'emploi Service juridique et à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales.
Lucerne, le 14 juin 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin