Faits: A. F._, ressortissant étranger, né en 1951, a travaillé en Suisse notamment en tant que membre du service de nettoyage dans un hôpital, employé dans une buanderie et aide-magasinier. Il est ensuite retourné à l'étranger, où il a effectué en dernier lieu l'activité de pompiste jusqu'en avril 2001, avant d'être au chômage jusqu'au 9 mai 2006. Depuis le 10 mai 2006, l'intéressé est au bénéfice de prestations d'invalidité étrangères. Par la suite, l'Institut national de sécurité sociale espagnol a transféré sa demande de prestation à l'Office de l'assurance-invalidité pour les personnes résidant à l'étranger (ci-après: OAIE) pour qu'il examine le droit de l'assuré à des prestations de l'assurance-invalidité suisse. L'OAIE a recueilli divers rapports médicaux, avant de rejeter la demande de F._ par décision du 20 juillet 2007. B. L'intéressé a recouru contre la décision de l'OAIE auprès du Tribunal administratif fédéral, qui l'a débouté par jugement du 26 juin 2009. C. F._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut à l'octroi d'une rente entière d'invalidité, subsidiairement à un trois quarts de rente, à une demi-rente ou à un quart de rente. L'OAIE conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.