Faits:
A. A.a B._, ressortissant turc, a travaillé en Suisse à partir du mois de novembre 1989. Depuis août 2001, il était employé comme garçon d'office chez X._.
Le 9 août 2002, l'intéressé a été victime d'un accident sur son lieu de travail au cours duquel il a subi une fracture du trochiter de l'humérus gauche. Il a été mis en incapacité de travail totale depuis le jour de l'accident. Le cas a été pris en charge par l'assureur-accident.
Par décision du 15 septembre 2003, confirmée sur opposition le 8 mars 2004, l'assureur-accidents de B._ a limité son obligation de prise en charge à la fin du mois de janvier 2003, tout en précisant qu'il verserait des indemnités journalières jusqu'à la fin juin 2003.
A.b Le 26 juillet 2004, B._ a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente.
L'assuré a fait l'objet d'une examen rhumatologique et psychiatrique auprès du Service médical régional de l'assurance-invalidité (SMR) le 30 novembre 2006. Dans leur rapport du 26 février 2007, les docteurs M._, médecine physique et rééducation, et E._, psychiatre FMH, ont posé les diagnostics suivants avec répercussion sur la capacité de travail: cervico-scapulalgies bilatérales diffuses dans le cadre d'un status post-fracture non déplacée du petit trochiter à gauche et tendinopathie non calcifiante bilatérale de la coiffe des rotateurs et léger syndrome lombaire dans le cadre d'un trouble statique et d'une importante insuffisance posturale. La capacité de travail était de 50 % dans l'activité habituelle de garçon d'office en raison de certaines limitations fonctionnelles et de 100 % dans toute activité adaptée. L'assuré ne présentait en revanche aucune atteinte sur le plan psychiatrique; sa souffrance était jugée secondaire à ses difficultés d'acculturation.
Par projet de décision du 20 novembre 2007, l'Office cantonal de l'assurance-invalidité du canton de Genève (ci-après: l'OCAI) a rejeté la demande de prestations de l'assuré.
A.c L'assuré s'est opposé à ce projet de décision, faisant valoir que les diagnostics posés par le SMR étaient incomplets. A l'appui de son écriture, il a produit diverses pièces médicales dont un rapport de la doctoresse O._ (du Département de psychiatrie de l'Hôpital Y._), du 4 février 2008, laquelle a posé le diagnostic de trouble dépressif récurrent, épisode actuel moyen avec syndrome somatique et troubles somatoformes sans précision. Selon cette dernière, l'état dépressif de l'assuré se manifestait par de multiples plaintes de type somatique avec une asthénie importante, une diminution de son élan vital, une tristesse et une anhédonie. Par ailleurs, elle notait une symptomatologie anxieuse avec irritabilité et un ralentissement psychomoteur. La capacité de travail était considérée comme nulle. Le traitement médicamenteux devait apporter une certaine amélioration de la symptomatologie mais les capacités d'élaboration et d'introspection de l'assuré étant limitées, il paraissait peu probable d'envisager une rémission complète de son trouble. Par ailleurs, il existait un risque que celui-ci évolue vers un état chronique.
Dans un avis du 28 février 2008, la doctoresse U._, du SMR, a relevé que lorsque l'assuré avait été examiné par le SMR en novembre 2006, il ne présentait pas de troubles dépressifs ou une quelconque pathologie psychiatrique incapacitante. Afin de déterminer si l'assuré présentait une aggravation de son état de santé, notamment sur le plan psychique, elle préconisait de demander un rapport complet à la doctoresse O._ ainsi qu'au médecin traitant de l'assuré. Dans un rapport du 29 mai 2008, la doctoresse O._ a fait état d'un trouble dépressif récurrent, épisode actuel moyen avec syndrome somatique et un trouble somatoforme sans précision. L'incapacité de travail était totale depuis mai 2007. Dans un avis du 1er juillet 2008, la doctoresse U._ a estimé que le trouble dépressif était réactionnel à l'accident de voiture dans lequel les deux frères de l'assuré avaient trouvé la mort en Turquie. Ce trouble accompagnait le syndrome douloureux. Il n'y avait pas de comorbidité psychiatrique invalidante, ni de perte d'intégration sociale, ni d'atteinte à la santé sans rémission durable. Le phénomène d'acculturation était prépondérant. Il n'était pas possible d'évaluer un état psychique cristallisé en l'absence d'évaluation psychodynamique et tous les traitements n'avaient pas été tentés pour améliorer la perception douloureuse. Le trouble somatoforme indifférencié, s'il était retenu, n'était de toute façon pas incapacitant et les conclusions du SMR du 26 février 2007 restaient valables.
Par décision du 3 juillet 2008, l'OCAI a confirmé son projet de décision du 20 novembre 2007.
B. B._ a recouru contre cette décision devant le Tribunal cantonal des assurances sociales du canton de Genève, concluant préalablement à la mise en oeuvre d'une expertise psychiatrique et, principalement, à l'octroi d'une rente entière d'invalidité.
Par ordonnance d'expertise du 23 février 2009, le Tribunal cantonal des assurances a confié la réalisation d'une expertise psychiatrique au docteur L._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 11 avril 2009, l'expert a posé le diagnostic de trouble dépressif récurrent, épisode actuel moyen, avec syndrome somatique. Il a en outre posé deux diagnostics différentiels, à savoir un épisode dépressif moyen, avec syndrome somatique et un trouble de la personnalité de type schizoïde ou une modification durable de la personnalité après une maladie psychiatrique. Il a précisé qu'il ne retenait pas de syndrome somatoforme douloureux dans la mesure où l'intimé présentait de nombreuses affections somatiques potentiellement douloureuses (discopathie, coxarthrose, lésions des épaules des deux côtés, prostatite chronique, constipation et ballonnements, status après plusieurs opérations abdominales). L'assuré présentait une incapacité de travail complète et selon toute vraisemblance définitive.
Dans un avis médical du 6 mai 2009, le SMR a fait part de ses critiques à l'égard de l'expertise judiciaire.
Par jugement du 31 août 2009, le tribunal des assurances a admis le recours et constaté que B._ avait droit à une rente entière d'invalidité depuis le 1er août 2003.
C. L'OCAI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à la confirmation de la décision du 3 juillet 2008 et, subsidiairement, au renvoi de la cause pour instruction complémentaire et nouvelle décision.
B._ conclut au rejet du recours.

Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), n'examine en principe que les griefs invoqués (art. 42 al. 2 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF auquel cas il peut les rectifier ou les compléter d'office (art. 105 al. 2 LTF).
2. Le litige porte sur le droit de l'intimé à une rente d'invalidité. Selon les premiers juges, l'expert judiciaire avait procédé à une analyse du dossier et à des anamnèses; il avait pris en compte les plaintes de l'expertisé et s'était livré à une discussion, avait répondu de manière claire et circonstanciée aux questions qui lui avaient été posées, notamment s'agissant des diagnostics et de la capacité de travail. Ses conclusions étaient motivées et dépourvues de contradictions. Enfin, l'expert expliquait en quoi il se distançait de l'avis des médecins du SMR. Partant, l'expertise judiciaire remplissait tous les réquisits jurisprudentiels pour lui reconnaître pleine valeur probante. La juridiction cantonale a considéré que les critiques du SMR à l'égard de l'expertise judiciaire ne convainquaient pas et n'étaient pas de nature à remettre en cause ses conclusions. Dès lors, il y avait lieu de tenir pour établi que l'intimé présentait une incapacité de travail totale sur le plan psychiatrique. Elle a ajouté que selon l'expert, l'état psychique s'était probablement détérioré entre 2001 et 2002. Cependant, l'intimé ayant travaillé jusqu'au moment de son accident en août 2002, cette date-là devait être retenue pour fixer le début de l'incapacité de travail, selon le degré de la vraisemblance prépondérante. Compte tenu du délai de carence prévu par l'art. 29 al. 1 LAI, le droit à la rente de l'intimé prenait naissance le 1er août 2003.
3. 3.1 L'office recourant fait tout d'abord grief à la juridiction cantonale d'avoir violé son droit d'être entendu en ne transmettant pas à l'expert judiciaire sa liste de questions en lien avec la rapport d'expertise.
3.2 La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.) en particulier, le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 3.1 p. 370 s. et les références).
Pour ce qui est des expertises, le droit d'être entendu implique notamment le droit de prendre connaissance du rapport de l'expert et de poser des questions complémentaires à ce dernier. En matière d'assurances sociales, ce droit se déduit soit des art. 57 ss PCF en corrélation avec les art. 19 PA et 55 LPGA, soit directement de l'art. 29 al. 2 Cst. (cf. Ueli Kieser, ATSG-Kommentar, 2009, n° 17 ad art. 42 et n° 2 ad art. 44 LPGA). L'administration ou le juge peuvent cependant renoncer à procéder à des mesures d'instruction lorsqu'ils parviennent à la conclusion qu'elles ne sont pas décisives pour la solution du litige ou qu'elles ne pourraient les amener à modifier leur opinion (appréciation anticipée des preuves; <ref-ruling> consid. 2.1 p. 428 s., 124 V 90 consid. 4b p. 94, 122 II 464 consid. 4a p. 469).
3.3 En l'espèce, le tribunal des assurances a estimé que le rapport d'expertise établi par le docteur L._ était suffisamment probant et que les critiques du SMR n'étaient pas convaincantes ni de nature à remettre en cause ses conclusions. Ainsi, les premiers juges ont procédé à une appréciation anticipée des preuves et jugé superflu de donner suite aux questions complémentaires formulées par le recourant. En réalité, le grief soulevé par le recourant relève de l'appréciation des preuves plutôt que de la violation du droit d'être entendu et doit être examiné de ce point de vue.
4. 4.1 Sur le fond, le recourant se plaint - implicitement - d'une constatation manifestement inexacte des faits pertinents, consécutive à une mauvaise appréciation des preuves. En substance, il reproche à la juridiction cantonale d'avoir accordé une pleine valeur probante au rapport d'expertise judiciaire, alors même que celui-ci n'était pas convainquant et apparaissait de surcroît lacunaire.
4. 4.1 Sur le fond, le recourant se plaint - implicitement - d'une constatation manifestement inexacte des faits pertinents, consécutive à une mauvaise appréciation des preuves. En substance, il reproche à la juridiction cantonale d'avoir accordé une pleine valeur probante au rapport d'expertise judiciaire, alors même que celui-ci n'était pas convainquant et apparaissait de surcroît lacunaire.
4.2 4.2.1 Le recourant allègue tout d'abord que l'expert n'a pas posé un diagnostic clair mais seulement de simples hypothèses et qu'ainsi, on ne sait pas si ces diagnostics sont susceptibles d'influencer la capacité de travail.
L'expert a expliqué de manière détaillée les raisons pour lesquelles il a retenu un diagnostic principal et deux autres diagnostics différentiels ainsi que la distinction entre le trouble dépressif récurrent, épisode actuel moyen, avec syndrome somatique et l'épisode dépressif moyen, avec syndrome somatique. Il a également soulevé la présence d'un dysfonctionnement de la personnalité, sans toutefois avoir les éléments nécessaires pour poser un diagnostic de façon rigoureuse, raison pour laquelle il a posé sur ce plan-là un diagnostic différentiel. L'argument du recourant selon lequel l'expert n'a pas posé un diagnostic clair mais s'en est tenu à de simples hypothèses apparaît dès lors infondé.
4.2.2 Le recourant relève que l'expert ne précise pas depuis quand existerait une incapacité de travail, ni quelle a été son évolution.
Toutefois, l'expert a indiqué que la problématique dépressive était apparue entre 1999 et 2001, dans la cinquième décennie, âge moyen auquel se déclare un trouble dépressif récurrent selon la CIM-10. Cela était corroboré par le fait que selon le dossier, l'intimé avait été soigné pour un état dépressif entre 1999 et 2001. L'expert a ensuite précisé que l'état psychique s'était probablement détérioré entre 2001 et 2002, selon les avis des médecins traitants. En 2002, l'intimé avait subi un accident qui était à l'origine de l'incapacité de travail. En effet, cet accident constituait vraisemblablement « la goutte qui [avait] fait déborder un vase déjà plein par une labilité émotionnelle sur le mode dépressif et des problèmes somatiques, associés à de faibles ressources sur les plans affectif et cognitif ». Le travail étant le seul domaine de l'existence apportant à l'intimé encore un semblant de structure, l'accident l'avait plongé de manière certainement définitive dans un état psychique déstructuré. L'incapacité de se sentir utile suite à la perte de sa capacité de travail avait renforcé un état dépressif chronique. Compte tenu de ce qui précède, il n'apparait dès lors pas arbitraire de la part des premiers juges d'avoir retenu une incapacité de travail totale à partir de l'accident subi par l'intimé, lequel constituait en quelque sorte l'élément déclencheur de l'incapacité de travail liée à un état dépressif existant depuis 1999.
4.2.3 Enfin, le recourant relève que les premiers juges n'ont pas discuté l'importance des facteurs psychosociaux et socioculturels, lesquels figureraient au premier plan dans la situation de l'intimé. Or, ces éléments ne constitueraient pas des atteintes à la santé à prendre en considération pour évaluer l'incapacité de travail ou de gain d'un assuré.
En ce qui concerne les facteurs psychosociaux ou socioculturels et leur rôle en matière d'invalidité, le Tribunal fédéral des assurances a précisé la jurisprudence relative aux atteintes à la santé psychique (cf. <ref-ruling>). Dans chaque cas d'invalidité, il doit y avoir un diagnostic médical pertinent d'après lequel, à dire de spécialiste, la capacité de travail (et de gain) est diminuée de manière importante. Plus les facteurs psychosociaux et socioculturels sont au premier plan dans l'anamnèse, plus il est essentiel que le diagnostic médical précise s'il y a atteinte à la santé psychique qui équivaut à une maladie. En effet, il ne suffit pas que le tableau clinique indique qu'il y a diminution de la capacité de travail et que celle-ci a sa source dans des facteurs socioculturels, mais encore faut-il qu'il prenne en compte le diagnostic médical sur le plan psychiatrique, par exemple qu'il fasse clairement la différence entre l'humeur dépressive dont se plaint l'assuré et l'état dépressif au sens médical ou qui lui est assimilable. Si le diagnostic médical retient une atteinte à la santé psychique entraînant une diminution de la capacité de travail (et de gain), les facteurs socioculturels sont relégués à l'arrière-plan. Tel n'est pas le cas, en revanche, quand l'expert admet que le diagnostic médical ne suffit pas pour expliquer l'incapacité de travail, imputable essentiellement aux difficultés psychosociales ou socioculturelles de l'assuré (voir aussi l'arrêt I 27/01 du 9 novembre 2001, consid. 2b). En l'espèce, l'expert judiciaire a indiqué qu'il n'avait pas pu mettre en évidence un contexte de conflits émotionnels et de problèmes psychosociaux suffisamment importants pour être considérés comme la cause essentielle du trouble dépressif, comme l'exigeait la CIM-10. Selon lui, l'intimé semblait toujours avoir eu des difficultés relationnelles et avait évolué en solitaire, ce qui ne l'avait pas empêché de travailler à son arrivée en Suisse durant plusieurs années. La situation psycho-sociale précaire de l'intimé était plutôt la conséquence que la cause de son arrêt de travail. Quant aux douleurs, elles étaient en grande partie explicables dans son cas par l'état somatique. Le fait que la douleur ait une telle importance chez l'intimé semblait plutôt dû à une difficulté à comprendre, à se structurer et à communiquer. L'expert a encore précisé que le manque d'intégration de l'intimé semblait clairement en rapport avec un dysfonctionnement psychique et relationnel ainsi qu'un probable trouble de la personnalité et non pas avec un problème culturel. Au vu de ce qui précède, il ne peut être reproché aux premiers juges d'avoir considéré que les difficultés psychosociales de l'intimé étaient reléguées à l'arrière-plan et que le trouble dépressif récurrent ayant valeur de maladie était principalement à l'origine de l'incapacité de travail totale de l'intimé.
5. Mal fondé, le recours doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF). L'intimé a droit à une indemnité de dépens à charge de l'office recourant (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimé la somme de 1'400 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances sociales de la République et canton de Genève et à l'Office fédéral des assurances sociales.
Lucerne, le 1er juin 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz