Faits: A. V._ a été au bénéfice d'un (deuxième) délai-cadre d'indemnisation de l'assurance-chômage depuis le 1er avril 2011. Par décision du 22 août 2011, l'Office cantonal de l'emploi (OCE) a suspendu le droit de l'assuré à l'indemnité de chômage pour une durée de neuf jours à compter du 1er août 2011, pour absence de recherches d'emploi en juillet 2011. Dans son opposition du 29 août 2011, l'assuré a affirmé avoir remis la feuille justificative de ses recherches d'emploi afférentes à juillet 2011 le 2 août 2011 à l'agence X._. Il a annexé à son opposition une copie de ce document portant ladite date et faisant état de cinq recherches d'emploi. Il a précisé qu'il avait effectué ces recherches nonobstant le fait qu'il avait travaillé à plein temps en juillet 2011. Par décision du 6 septembre 2011, l'OCE a rejeté l'opposition, au motif que l'assuré n'avait pas prouvé avoir remis, le 2 août 2011, ses recherches d'emploi pour juillet 2011. B. V._ a recouru contre la décision sur opposition de l'OCE devant la Cour de justice de la République et canton de Genève, Chambre des assurances sociales. Lors de son audition par la juridiction cantonale, il a exposé qu'il se rappelait très bien s'être rendu à l'agence le mardi 2 août 2011 entre 9h30 et 10h00 et avoir remis la feuille des recherches d'emploi pour juillet 2011 à un employé se trouvant au guichet. Il lui avait indiqué à cette occasion qu'il voulait parler à sa conseillère. L'intéressé l'avait informé qu'elle était absente. Il avait essayé en vain de la joindre par téléphone pendant deux semaines pour la tenir au courant de ses démarches en vue de trouver un emploi. Par jugement du 21 décembre 2011, la juridiction cantonale a admis le recours et annulé la décision sur opposition du 6 septembre 2011. C. L'OCE interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, sous suite de frais. V._ ainsi que le Secrétariat d'Etat à l'économie (SECO) ont renoncé à se déterminer.