Faits: A. A.a B._, ressortissant turc, a travaillé en Suisse à partir du mois de novembre 1989. Depuis août 2001, il était employé comme garçon d'office chez X._. Le 9 août 2002, l'intéressé a été victime d'un accident sur son lieu de travail au cours duquel il a subi une fracture du trochiter de l'humérus gauche. Il a été mis en incapacité de travail totale depuis le jour de l'accident. Le cas a été pris en charge par l'assureur-accident. Par décision du 15 septembre 2003, confirmée sur opposition le 8 mars 2004, l'assureur-accidents de B._ a limité son obligation de prise en charge à la fin du mois de janvier 2003, tout en précisant qu'il verserait des indemnités journalières jusqu'à la fin juin 2003. A.b Le 26 juillet 2004, B._ a déposé une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. L'assuré a fait l'objet d'une examen rhumatologique et psychiatrique auprès du Service médical régional de l'assurance-invalidité (SMR) le 30 novembre 2006. Dans leur rapport du 26 février 2007, les docteurs M._, médecine physique et rééducation, et E._, psychiatre FMH, ont posé les diagnostics suivants avec répercussion sur la capacité de travail: cervico-scapulalgies bilatérales diffuses dans le cadre d'un status post-fracture non déplacée du petit trochiter à gauche et tendinopathie non calcifiante bilatérale de la coiffe des rotateurs et léger syndrome lombaire dans le cadre d'un trouble statique et d'une importante insuffisance posturale. La capacité de travail était de 50 % dans l'activité habituelle de garçon d'office en raison de certaines limitations fonctionnelles et de 100 % dans toute activité adaptée. L'assuré ne présentait en revanche aucune atteinte sur le plan psychiatrique; sa souffrance était jugée secondaire à ses difficultés d'acculturation. Par projet de décision du 20 novembre 2007, l'Office cantonal de l'assurance-invalidité du canton de Genève (ci-après: l'OCAI) a rejeté la demande de prestations de l'assuré. A.c L'assuré s'est opposé à ce projet de décision, faisant valoir que les diagnostics posés par le SMR étaient incomplets. A l'appui de son écriture, il a produit diverses pièces médicales dont un rapport de la doctoresse O._ (du Département de psychiatrie de l'Hôpital Y._), du 4 février 2008, laquelle a posé le diagnostic de trouble dépressif récurrent, épisode actuel moyen avec syndrome somatique et troubles somatoformes sans précision. Selon cette dernière, l'état dépressif de l'assuré se manifestait par de multiples plaintes de type somatique avec une asthénie importante, une diminution de son élan vital, une tristesse et une anhédonie. Par ailleurs, elle notait une symptomatologie anxieuse avec irritabilité et un ralentissement psychomoteur. La capacité de travail était considérée comme nulle. Le traitement médicamenteux devait apporter une certaine amélioration de la symptomatologie mais les capacités d'élaboration et d'introspection de l'assuré étant limitées, il paraissait peu probable d'envisager une rémission complète de son trouble. Par ailleurs, il existait un risque que celui-ci évolue vers un état chronique. Dans un avis du 28 février 2008, la doctoresse U._, du SMR, a relevé que lorsque l'assuré avait été examiné par le SMR en novembre 2006, il ne présentait pas de troubles dépressifs ou une quelconque pathologie psychiatrique incapacitante. Afin de déterminer si l'assuré présentait une aggravation de son état de santé, notamment sur le plan psychique, elle préconisait de demander un rapport complet à la doctoresse O._ ainsi qu'au médecin traitant de l'assuré. Dans un rapport du 29 mai 2008, la doctoresse O._ a fait état d'un trouble dépressif récurrent, épisode actuel moyen avec syndrome somatique et un trouble somatoforme sans précision. L'incapacité de travail était totale depuis mai 2007. Dans un avis du 1er juillet 2008, la doctoresse U._ a estimé que le trouble dépressif était réactionnel à l'accident de voiture dans lequel les deux frères de l'assuré avaient trouvé la mort en Turquie. Ce trouble accompagnait le syndrome douloureux. Il n'y avait pas de comorbidité psychiatrique invalidante, ni de perte d'intégration sociale, ni d'atteinte à la santé sans rémission durable. Le phénomène d'acculturation était prépondérant. Il n'était pas possible d'évaluer un état psychique cristallisé en l'absence d'évaluation psychodynamique et tous les traitements n'avaient pas été tentés pour améliorer la perception douloureuse. Le trouble somatoforme indifférencié, s'il était retenu, n'était de toute façon pas incapacitant et les conclusions du SMR du 26 février 2007 restaient valables. Par décision du 3 juillet 2008, l'OCAI a confirmé son projet de décision du 20 novembre 2007. B. B._ a recouru contre cette décision devant le Tribunal cantonal des assurances sociales du canton de Genève, concluant préalablement à la mise en oeuvre d'une expertise psychiatrique et, principalement, à l'octroi d'une rente entière d'invalidité. Par ordonnance d'expertise du 23 février 2009, le Tribunal cantonal des assurances a confié la réalisation d'une expertise psychiatrique au docteur L._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 11 avril 2009, l'expert a posé le diagnostic de trouble dépressif récurrent, épisode actuel moyen, avec syndrome somatique. Il a en outre posé deux diagnostics différentiels, à savoir un épisode dépressif moyen, avec syndrome somatique et un trouble de la personnalité de type schizoïde ou une modification durable de la personnalité après une maladie psychiatrique. Il a précisé qu'il ne retenait pas de syndrome somatoforme douloureux dans la mesure où l'intimé présentait de nombreuses affections somatiques potentiellement douloureuses (discopathie, coxarthrose, lésions des épaules des deux côtés, prostatite chronique, constipation et ballonnements, status après plusieurs opérations abdominales). L'assuré présentait une incapacité de travail complète et selon toute vraisemblance définitive. Dans un avis médical du 6 mai 2009, le SMR a fait part de ses critiques à l'égard de l'expertise judiciaire. Par jugement du 31 août 2009, le tribunal des assurances a admis le recours et constaté que B._ avait droit à une rente entière d'invalidité depuis le 1er août 2003. C. L'OCAI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à la confirmation de la décision du 3 juillet 2008 et, subsidiairement, au renvoi de la cause pour instruction complémentaire et nouvelle décision. B._ conclut au rejet du recours.