Faits:
A. H._ s'est inscrit au chômage le 7 mars 2011. Il a déposé son formulaire de recherches d'emploi faites au cours du mois d'août 2011 le 6 septembre 2011.
Par décision du 14 septembre 2011, confirmée sur opposition le 11 octobre suivant, l'Office cantonal de l'emploi (ci-après: l'OCE) a sanctionné l'assuré pour recherches d'emploi «nulles» durant le mois d'août et a prononcé une suspension du droit à l'indemnité de cinq jours.
B. H._ a recouru contre cette décision devant la Cour de justice du canton de Genève, Chambre des assurances sociales.
Par jugement du 29 novembre 2011, la juridiction cantonale a partiellement admis le recours, en ce sens qu'elle a réduit la suspension du droit à l'indemnité de chômage à un jour.
C. L'OCE interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. H._ s'est déterminé sur le recours de l'OCE.

Considérant en droit:
1. Le recourant conteste la diminution de la durée de la suspension du droit à l'indemnité de chômage prononcée par les premiers juges. Selon lui, en constatant qu'une sanction de cinq jours était disproportionnée dans le cas d'espèce, les premiers juges ont méconnu le but de l'<ref-law> (dans sa version en vigueur depuis le 1er avril 2011), qui est de traiter de façon identique les assurés ayant omis de remettre leurs recherches d'emploi dans le délai légal et ceux n'en ayant pas effectuées du tout.
2. 2.1 Selon l'<ref-law>, la durée de la suspension est proportionnelle à la gravité de la faute. En vertu de l'<ref-law>, elle est de 1 à 15 jours en cas de faute légère, de 16 à 30 jours en cas de faute de gravité moyenne et de 31 à 60 jours en cas de faute grave.
La durée de la suspension du droit à l'indemnité de chômage est fixée compte tenu non seulement de la faute, mais également du principe de proportionnalité (Thomas Nussbaumer, Arbeitslosenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, 2ème éd., n° 855, p. 2435). En tant qu'autorité de surveillance, le seco a adopté un barème (indicatif) à l'intention des organes d'exécution. Un tel barème constitue un instrument précieux pour ces organes d'exécution lors de la fixation de la sanction et contribue à une application plus égalitaire des sanctions dans les différents cantons. Cela ne dispense cependant pas les autorités décisionnelles d'apprécier le comportement de l'assuré compte tenu de toutes les circonstances - tant objectives que subjectives - du cas d'espèce et de fixer la sanction en fonction de la faute.
2.2 La quotité de la suspension du droit à l'indemnité de chômage dans un cas concret constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire au droit, soit si elle a commis un excès positif ("Ermessensüberschreitung") ou négatif ("Ermessensunterschreitung") de son pouvoir d'appréciation ou a abusé ("Ermessensmissbrauch") de celui-ci (arrêt 8C_658/2009 du 19 janvier 2010 consid. 1.2; arrêt 8C_31/2007 du 25 septembre 2007 consid. 3.1, non publié in <ref-ruling> mais dans SVR 2008 ALV n° 12 p. 35). Il y a abus du pouvoir d'appréciation lorsque l'autorité, tout en restant dans les limites du pouvoir d'appréciation qui est le sien, se fonde sur des considérations qui manquent de pertinence et sont étrangères au but visé par les dispositions légales applicables, ou viole des principes généraux du droit tels que l'interdiction de l'arbitraire et de l'inégalité de traitement, le principe de la bonne foi et le principe de la proportionnalité (<ref-ruling> consid. 2 p. 152 et les références). Commet un excès positif de son pouvoir d'appréciation, l'autorité qui exerce son appréciation alors que la loi l'exclut, ou qui, au lieu de choisir entre les deux solutions possibles, en adopte une troisième. Il y a également excès du pouvoir d'appréciation dans le cas où l'excès de pouvoir est négatif, soit lorsque l'autorité considère qu'elle est liée, alors que la loi l'autorise à statuer selon son appréciation, ou qu'elle renonce d'emblée en tout ou partie à exercer son pouvoir d'appréciation (<ref-ruling> consid. 2 p. 310 et les références).
3. 3.1 Sous l'empire de l'ancien droit, quand un assuré ne respectait pas le délai de l'<ref-law>, mais faisait parvenir ses recherches d'emploi dans le délai supplémentaire qui lui avait été imparti par l'office compétent, il n'y avait pas de place pour prononcer une suspension selon l'art. 30 al. 1 let. d LACI (cf. arrêt 8C_183/2008 du 27 juin 2008 consid. 3).
Depuis le 1er avril 2011, la sanction prévue par l'<ref-law> - qui est la non prise en compte des recherches d'emploi - intervient déjà si les justificatifs ne sont pas remis à l'expiration du délai réglementaire, c'est-à-dire au plus tard le cinq du mois suivant ou le premier jour ouvrable qui suit cette date. Toutefois, cela ne signifie pas encore, quoi qu'en dise le recourant, qu'une sanction identique doit s'imposer lorsque l'assuré ne fait aucune recherche d'emploi ou lorsqu'il produit ses recherches après le délai, surtout s'il s'agit d'un léger retard qui a lieu pour la première fois pendant la période de contrôle.
3.2 En l'espèce, les premiers juges ont constaté qu'en remettant la preuve de ses recherches d'emploi avec un jour de retard, pour la première fois, l'intimé avait commis une faute très légère. Aussi, la suspension de l'indemnité pendant cinq jours ne respectait-elle pas le principe de proportionnalité, de sorte qu'il y avait lieu de s'écarter du barème du seco et de prononcer une suspension d'un seul jour de l'indemnité. Les éléments retenus par la juridiction cantonale pour justifier une réduction de la quotité de la suspension du droit à l'indemnité de chômage dans le cas d'espèce n'excèdent pas les limites de son pouvoir d'appréciation. Du reste, le recourant ne démontre pas que la juridiction cantonale aurait exercé son pouvoir d'appréciation de manière contraire au droit (cf. supra consid. 2.2) en réduisant la durée de la suspension au minimum prévu par l'<ref-law>. Partant, le recours est mal fondé.
4. Bien qu'il succombe, le recourant ne peut se voir imposer des frais de justice (<ref-law>; <ref-ruling> consid. 4.5 p. 641 s.).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 26 juin 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin