Faits:
A. A.a S._ s'est inscrit à l'Office cantonal de l'emploi (ci-après: OCE) et un délai-cadre d'indemnisation a été ouvert en sa faveur dès le 1er juillet 2009.
Le 18 mai 2010, l'Office régional de placement (ci-après: ORP) lui a assigné un poste à plein temps de cuisinier à la Cave X._. L'assuré s'est présenté à cet employeur le 21 mai 2010. Il a été engagé dès le 2 juin suivant. Par téléphone et par télécopie du même jour, la responsable du restaurant, D._, a cependant indiqué qu'après le service, le demandeur d'emploi l'avait informée de sa volonté de prendre cinq semaines de vacances en été. Elle avait essayé de lui expliquer qu'il n'était pas possible d'accorder des vacances d'une telle durée alors qu'il venait de commencer. Elle a précisé qu'à la suite de ce refus, le demandeur d'emploi avait décidé de ne pas revenir travailler.
Après avoir entendu l'assuré et pris contact par téléphone avec la responsable du restaurant (cf. PV du 8 juin 2010), l'OCE a suspendu le droit de S._ à l'indemnité journalière pour une durée de 40 jours dès le 3 juin 2010 (décision du 10 juin 2010). Dans son opposition, l'assuré a indiqué qu'il n'avait pas refusé le travail mais qu'il avait posé une question concernant l'éventuelle possibilité de prendre des vacances en été 2010. Après avoir recueilli le témoignage de la collaboratrice de l'employeur, l'OCE a rejeté l'opposition de l'assuré par une nouvelle décision du 26 août 2010.
A.b S._ a déféré cette décision au Tribunal cantonal des assurances sociales de la République et canton de Genève (aujourd'hui: Cour de Justice, Chambre des assurances sociales) en demandant son annulation et en concluant à l'octroi des indemnités de l'assurance-chômage dont il a été privé.
Au cours de l'instruction, la juridiction cantonale a ordonné une comparution personnelle des parties le 7 décembre 2010. A cette occasion, l'assuré a déclaré:
"J'ai commencé le travail le 2 juin 2010. A la fin de la demi-journée, je suis monté au bureau pour voir si j'avais donné satisfaction. Il m'a été confirmé que j'étais engagé. J'ai alors demandé si je pouvais prendre des vacances durant la période scolaire. Je n'ai pas précisé pour combien de temps. Je voulais pouvoir m'organiser avec mes enfants. J'ai l'impression que la personne a été vexée de ma demande. Elle a refusé. Elle m'a demandé si je venais le soir travailler, puis elle a appelé le chef du cuisine pour lui dire que je ne viendrai pas. Je ne sais pas pourquoi il y a cette contradiction. J'ai entendu dire que d'autres personnes avaient eu le même genre de problèmes dans ce restaurant. Je n'ai jamais parlé de commencer en septembre seulement. J'ai simplement posé une question. Lors de l'entretien du 21 mai, je n'avais pas parlé de vacances. Je précise même que j'étais accidenté (doigt fracturé), mais je n'ai pas refusé de travailler. Je suis à l'assurance-accidents depuis le mois de mai 2010".
Statuant le 21 décembre 2010, la juridiction cantonale a admis partiellement le recours et ramené la durée de la suspension à 31 jours.
A.c Saisi d'un recours en matière de droit public de S._, le Tribunal fédéral l'a admis en ce sens qu'il a annulé le jugement entrepris et renvoyé la cause à la juridiction cantonale pour complément d'instruction en particulier par l'audition de la responsable du restaurant et éventuellement aussi de son employée (arrêt du 8C_38/2011 du 14 décembre 2011).
B. La Cour de justice, Chambre des assurances sociales, a repris l'instruction de la cause et ordonné l'audition de la responsable du restaurant ainsi que de l'employée, H._, laquelle est la soeur de la première. Selon D._, après avoir travaillé le matin du 2 juin 2010, l'assuré a demandé "directement" des vacances en précisant qu'elles lui étaient indispensables pour des raisons familiales. Elle lui a répondu qu'il n'était pas possible d'accorder des vacances aussi rapidement et qu'il devait choisir. Il a déclaré qu'il ne pouvait pas renoncer aux vacances. Il n'est pas revenu pour le service du soir. Selon H._, la responsable du restaurant ne comprenait pas que l'on pût réclamer des vacances en venant du chômage. L'assuré voulait des vacances tout de suite. D._ avait demandé clairement à l'assuré s'il voulait travailler ou non mais l'employée n'était pas en mesure de donner des précisions sur la réponse de l'intéressé. H._ s'est bornée à exposer "je sais que c'était négatif: il lui fallait des vacances" (procès-verbaux d'enquêtes du 3 avril 2012).
Statuant par jugement du 24 avril 2012, la juridiction cantonale a admis partiellement le recours, en ce sens qu'elle a réduit comme précédemment la durée de la suspension à 31 jours.
C. S._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut, sous suite de frais et dépens, principalement à l'annulation de la décision de l'OCE du 10 juin 2010, subsidiairement, à la réduction de la durée de la suspension dans une proportion acceptable, plus subsidiairement, au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Il fait valoir entre autres que les constatations des premiers juges ne permettaient pas de considérer qu'il a refusé un emploi convenable sans motif valable.

Considérant en droit:
1. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 8.1 p. 153; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). ]
2. Le droit de l'assuré à l'indemnité est suspendu lorsqu'il est établi notamment que celui-ci refuse un travail convenable ou encore compromet ou empêche, par son comportement, le déroulement de la mesure du marché du travail ou la réalisation de son but (cf. art. 30 al. 1 let. d LACI). D'après la jurisprudence, il y a refus d'une occasion de prendre un travail convenable non seulement lorsque l'assuré refuse explicitement d'accepter un emploi, mais aussi lorsqu'il ne déclare pas expressément, lors des pourparlers avec le futur employeur, accepter l'emploi bien que, selon les circonstances, il aurait pu faire cette déclaration (<ref-ruling> consid. 3b p. 38 et les références; DTA 1986 no 5 p. 22, consid. 1a).
3. 3.1 La juridiction cantonale n'a pas accordé foi aux déclarations de l'employée du restaurant (soeur de D._), dont elle a relevé qu'elles manquaient de cohérence et qu'elles paraissaient avoir été "dictées". Pour le reste, elle a retenu ce qui suit:
Il n'apparaissait pas vraisemblable que l'assuré ait posé un ultimatum à la responsable du restaurant en exigeant d'elle que des vacances lui soient accordées immédiatement. Il était en revanche plausible qu'il ait souhaité savoir ce qu'il en était des vacances. La question a à l'évidence provoqué l'indignation de la responsable du restaurant. On ne saurait reprocher à l'intéressé d'avoir souhaité savoir ce qu'il en était des vacances dès lors que la période estivale approchait. Par ailleurs, on imaginait mal que l'assuré - dont les premiers juges ont relevé qu'il avait toujours pris ses obligations de chômeur très au sérieux - ait renoncé délibérément à un emploi correspondant parfaitement à ses qualifications au seul motif que des vacances lui étaient refusées. En outre, il n'apparaissait pas vraisemblable qu'il demande des vacances "pour tout de suite", soit en juin déjà, alors que ses enfants étaient encore scolarisés. On ne saurait ainsi exclure qu'il y ait eu un malentendu entre la responsable du restaurant et l'assuré.
3.2 Sur le vu des constatations cantonales - qui lient le Tribunal fédéral (cf. consid. 1 ci-dessus) - un seul fait est véritablement établi, soit la circonstance que l'assuré s'est renseigné au sujet de ses vacances, probablement pour la période estivale. Or, ce simple fait ne suffit pas pour justifier une sanction au regard de l'assurance-chômage. Par ailleurs, au vu des déclarations contradictoires des parties, on ne sait pas si c'est D._ qui a demandé au recourant de ne plus revenir travailler, ou au contraire si c'est ce dernier qui ne s'est plus présenté à son travail. Le Tribunal fédéral n'a aucun élément suffisant pour retenir que l'assuré aurait par son comportement fait échouer une possibilité d'emploi assimilable à un refus de travail convenable au sens du consid. 2 ci-dessus. On ne saurait dans ces conditions retenir une sanction à l'encontre de l'intéressé.
Le recours doit ainsi être admis et le jugement cantonal annulé.
4. Il n'y a pas lieu de prélever des frais de justice à la charge de l'office intimé, bien qu'il succombe (<ref-law>; <ref-ruling> consid. 4.5 p. 639). En revanche, celui-ci versera une indemnité de dépens au recourant qui obtient gain de cause (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. La décision du 24 avril 2012 de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et la décision sur opposition du 26 août 2010 de l'Office cantonal de l'emploi sont annulées.
2. Il n'est pas perçu de frais judiciaires.
3. L'intimé versera au recourant la somme de 2'400 fr. à titre de dépens pour la dernière instance .
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 23 janvier 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Ursprung
La Greffière: Berset