Faits:
A. S._, né en 1966, a travaillé comme agent spécialisé auprès de X._ de 1988 à 1999. Il a ensuite perçu des indemnités de l'assurance-chômage et a bénéficié d'une formation d'aide-comptable. Le 23 décembre 2002, il a déposé une demande de prestations de l'assurance-invalidité en alléguant souffrir d'une hernie discale et de « désordre moral ». Dans un rapport du 10 janvier 2003, le docteur C._, spécialiste en médecine interne et maladies rhumatismales, a constaté des problèmes d'ordre dépressif ainsi que des blocages lombaires épisodiques. En 2003, l'assuré a retiré sa demande de prestations au motif qu'il avait retrouvé sa pleine capacité professionnelle.
Le 28 novembre 2005, S._ a adressé une nouvelle demande à l'Office cantonal de l'assurance-invalidité de Genève (ci-après l'OCAI) tendant à l'octroi d'une rente d'invalidité en raison d'un syndrome du défilé thoracique droit et gauche, d'une hernie discale ainsi que d'un état dépressif. Dans un rapport du 29 décembre 2005, le docteur M._, du centre Y._, a confirmé l'existence de ces pathologies et constaté une épicondylite au coude gauche. Il a considéré que ces atteintes n'entrainaient pas de diminution de la capacité de travail dans une activité sédentaire. Le docteur C._ (rapport du 9 janvier 2006) ainsi que le docteur B._, médecin au centre Z._(rapport du 28 décembre 2006) ont pour l'essentiel émis les mêmes constatations. Sur la base de ces documents médicaux, l'OCAI a communiqué un projet de refus de rente le 3 janvier 2007.
Le 23 janvier 2007, le docteur N._, psychiatre traitant de l'assuré, a adressé à l'OCAI un rapport médical selon lequel les affections physiques et psychiques dont souffrait son patient rendaient toute stabilisation très difficile et contrecarraient tout projet de réinsertion professionnelle. Il a attesté une incapacité totale de travail dès le mois de septembre 2005 en raison d'une péjoration de l'état de santé. Invité par l'OCAI à se déterminer, le docteur B._ a maintenu sa position. Par décision du 15 mars 2007, l'OCAI a refusé toute prestation à S._.
Ce dernier a interjeté un recours contre cette décision, que le Tribunal des assurances sociales du canton de Genève a admis partiellement par jugement du 29 août 2007 en renvoyant la cause à l'OCAI pour instruction complémentaire et nouvelle décision.
A la suite de ce renvoi, l'OCAI a désigné comme experts les docteurs O._, rhumatologue, et R._, psychiatre, tous deux médecins au centre J._. Dans leur expertise du 11 mars 2008, ces derniers ont notamment diagnostiqué des migraines, des lombosciatalgies sur hernie discale, des cervicalgies, ainsi qu'une structure de personnalité de type état-limite; ces atteintes à la santé n'entraînaient toutefois pas d'incapacité de travail dans une activité légère en position assise.
Sur la base de ce rapport du centre J._, l'OCAI a maintenu le refus de prester par décision du 18 août 2008.
B. S._ a formé un recours contre cette décision, que le Tribunal cantonal a rejeté par jugement du 27 janvier 2009.
C. L'assuré interjette un recours en matière de droit public en concluant à l'annulation du jugement du Tribunal cantonal et à l'octroi d'une rente entière d'invalidité dès le 28 novembre 2005. A l'appui de ce recours, il a notamment produit un nouveau certificat médical établi le 12 février 2009 par le docteur N._. Il a par ailleurs demandé l'octroi de l'assistance judiciaire pour l'instance fédérale. Le Tribunal fédéral a rejeté cette requête par ordonnance du 23 mars 2009.

Considérant en droit:
1. Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. L'attestation du docteur N._ produite par le recourant en date du 24 avril 2009 ne peut par conséquent pas être prise en considération dans la présente procédure.
2. Le litige porte sur le point de savoir si le recourant a droit à une rente de l'assurance-invalidité. Le Tribunal cantonal a nié le droit à cette prestation au motif que le recourant disposait d'une pleine capacité de travail dans sa profession (aide-comptable). Il s'est fondé essentiellement sur l'expertise du centre J._. Le recourant soutient être totalement incapable de travailler.
3. 3.1 Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>). Le recours ne peut critiquer les constatations de fait des premiers juges que si elles ont été établies de façon manifestement inexacte ou en violation du droit au sens de l'art. 95, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; cf. également <ref-law>).
3.2 Le jugement entrepris expose correctement les règles légales et la jurisprudence sur les notions d'incapacité de travail, d'incapacité de gain et d'invalidité ainsi que les principes jurisprudentiels relatifs à l'appréciation des preuves et à la valeur probante des rapports médicaux. Il convient donc d'y renvoyer.
3.3 De nature rhumatologique et psychiatrique, l'expertise menée par les docteurs O._ et R._ au centre J._ est une expertise bidisciplinaire. Elle a été établie en connaissance de tous les rapports médicaux, y compris celui du docteur N._, et repose sur une anamnèse et des examens complets. Les experts ont pris en compte les plaintes de la personne examinée, bien décrit le contexte médical et leurs constatations sont dûment motivées. Les premiers juges ont donc admis à juste titre que les critères permettant d'attribuer une pleine valeur probante à cette expertise sont remplis (cf. <ref-ruling> consid. 3a p. 352; <ref-ruling> consid. 1c p. 160 et les références).
3.4 Pour remettre en cause les constatations des premiers juges, le recourant invoque le rapport du docteur N._ du 23 janvier 2007. Les premiers juges n'ont toutefois pas violé le droit fédéral en accordant plus de pouvoir à une expertise bidisciplinaire, qui tient compte des interactions entre les affections physiques et psychiques du recourant, qu'à l'avis du médecin traitant, qui s'est prononcé sous le seul angle de sa spécialité dans le cadre d'une relation thérapeutique entre patient et médecin.
Le recourant reproche encore à l'intimé d'avoir nié le droit à des prestations à cause de problèmes d'alcoolisme, et conteste toute consommation d'alcool. Cet argument ne présente toutefois qu'un rapport lointain avec le jugement entrepris puisque ni les premiers juges ni les experts du centre J._ auxquels ils se sont référés n'ont appuyé leurs constatations sur un problème de dépendance à l'alcool.
4. Compte tenu de ce qui précède, le recourant ne démontre pas le caractère manifestement erroné ou incomplet des constations des premiers juges relatives à sa capacité de travail résiduelle dans une activité légère. En l'absence des griefs relatifs aux autres aspects du jugement entrepris, le recours est mal-fondé.
Vu le sort de ses conclusions, le recourant supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF) ainsi que ses propres dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances sociales du canton de Genève et à l'Office fédéral des assurances sociales.
Lucerne, le 11 décembre 2009
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Ursprung Métral