Faits: A. H._, né en 1950, d'origine étrangère, est arrivé en Suisse en 1993 en qualité de requérant d'asile. Il est au bénéfice d'une formation de mécanicien sur automobiles, achevée le 20 mai 1969. Dans son pays d'origine, il était propriétaire de son propre garage qu'il exploitait seul jusqu'à son arrivée en Suisse. Depuis lors, il n'a jamais repris d'activité professionnelle. Le 24 août 2005, il a déposé une demande de prestations de l'assurance-invalidité (AI) tendant à l'octroi d'une rente, en faisant état de troubles psychiques importants et de problèmes ostéoarticulaires. Dans un rapport du 17 octobre 2005, le docteur S._, chef de clinique au Centre X._ (centre d'accueil et de traitement psychiatrique), a posé le diagnostic de traits de personnalité paranoïaque (F 60). Il a conclu qu'un «traitement à visée de changement psychique» ne paraissait pas réalisable au vu des faibles capacités de mentalisation et d'introspection du patient. Le médecin ne s'est pas prononcé sur la capacité de travail. Sur proposition de son Service médical régional (SMR), l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI) a mandaté le Centre d'expertise médicale (COMAI), à V._, de réaliser une expertise sur la personne de l'assuré. Dans un rapport d'expertise interdisciplinaire du 12 février 2007, les médecins du COMAI n'ont posé aucun diagnostic ayant une répercussion sur la capacité de travail. Comme diagnostic sans répercussion sur la capacité de travail, ils ont retenu une personnalité paranoïaque (F 60), une hernie inguinale droite et une obésité modérée. Dans leur appréciation consensuelle du cas, les experts ont indiqué que sur le plan somatique, il n'existait aucune limitation pour l'assuré à exercer son métier de mécanicien sur auto à plein temps. Le bilan psychiatrique mettait en évidence une personnalité paranoïaque et un dysfonctionnement relationnel. Ce trouble de la personnalité rendait difficile toute activité nécessitant des contacts. En revanche, il n'y avait pas de pathologie psychiatrique justifiant une incapacité de travail. Dans un poste où l'assuré pouvait travailler de manière indépendante dans un encadrement compréhensif, la capacité de travail était entière. Dans un projet de décision du 11 avril 2007, l'OAI a rejeté la demande de prestations au motif que l'assuré ne présentait pas d'atteinte à la santé invalidante. L'assuré a contesté ce projet en produisant un rapport médical de la doctoresse T._, chef de clinique auprès de l'organisme Y._ (consultation psychothérapeutique pour migrants), du 26 septembre 2007. Cette praticienne relevait que selon l'expertise du COMAI, l'assuré disposait d'une capacité de travail entière à condition de se trouver dans un cadre de travail compréhensif et d'y exercer une activité sans contacts inter-humains. De telles conditions de travail évoquaient selon elle un atelier protégé ou un poste spécialement aménagé pour une personne particulièrement vulnérable. Elle s'interrogeait par ailleurs sur les possibilités concrètes d'exercer une activité «sans contacts inter-humains». Par décision du 4 avril 2008, l'OAI a confirmé son refus d'allouer des prestations à l'assuré. B. Par jugement du 20 mai 2009, le Tribunal cantonal, Cour des assurances sociales, du canton de Vaud a rejeté le recours interjeté par H._ contre la décision de l'OAI du 4 avril 2008. C. Agissant par la voie du recours en matière de droit public, H._, représenté par le Centre social protestant, demande au Tribunal fédéral de constater que ses limitations psychiques le rendent inapte à toute activité professionnelle et qu'il est par conséquent invalide à 100 %. Il n'a pas été procédé à un échange d'écritures.