Faits:
A. P._, ressortissant étranger né en 1961, a travaillé en Suisse au service de B._ de décembre 1989 à juin 1992. Il est ensuite retourné dans son pays d'origine où il a exercé en dernier lieu la profession de pêcheur côtier jusqu'au 4 octobre 2004. Le 28 juillet 2004, l'intéressé a présenté une demande de prestations auprès de l'assurance-invalidité suisse. Par décision du 24 octobre 2005, confirmée sur opposition le 30 novembre 2006, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (ci-après: l'OAIE) a rejeté sa demande au motif qu'il ne présentait aucune incapacité de travail dans une activité adaptée à son état de santé et, partant, aucune incapacité de gain propre à ouvrir droit à une rente d'invalidité.
B. Par arrêt du 24 février 2009, le Tribunal administratif fédéral a rejeté le recours formé par l'assuré contre la décision sur opposition du 30 novembre 2006.
C. P._ interjette un recours un matière de droit public contre ce jugement dont il demande l'annulation, en concluant à l'octroi, principalement, d'une rente entière, subsidiairement, d'un trois-quarts de rente, plus subsidiairement, d'une demi-rente et, plus subsidiairement encore, d'un quart de rente d'invalidité.
L'OAIE a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon l'art. 95 sv. LTF, le Tribunal fédéral statuant en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La constatation des faits importants pour le jugement en cause ne peut être critiquée que si ceux-ci ont été constatés en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>).
2. Le litige porte sur le droit du recourant à une rente d'invalidité. La juridiction fédérale de première instance a exposé correctement les dispositions légales applicables au présent cas, de sorte qu'il suffit d'y renvoyer.
3. Se fondant essentiellement sur le rapport (formulaire E 213) établi le 21 septembre 2004 par le docteur L._, ainsi que sur le rapport de sortie du 1er avril 2005 du Service hospitalier de X._, les premiers juges ont retenu le diagnostic d'ostéonécrose de la tête fémorale gauche et de hernie discale L4-L5 et L5-S1. Ils ont par ailleurs considéré qu'en raison d'une limitation de sa mobilité dans la hanche gauche, le recourant devait éviter toute surcharge lombaire ainsi qu'une station debout prolongée ou des déplacements sur un terrain irrégulier. Selon les premiers juges, ces limitations étaient incompatibles avec son ancienne activité de pêcheur côtier. Bien que le rapport E 213 ne se prononçât pas sur la capacité résiduelle de travail du recourant dans une activité de substitution, pas plus qu'aucun autre rapport se trouvant au dossier, les premiers juges ont considéré que rien ne s'opposait à ce que le recourant exerce à plein temps une activité adaptée, tenant compte des restrictions induites par les atteintes à sa santé. Quant au rapport de sortie du 1er avril 2005, il indiquait que le recourant avait subi une opération de la hanche le 22 mars 2005 et qu'il pouvait marcher avec des béquilles dix jours après l'intervention. Selon les premiers juges, il y avait lieu d'en déduire, en l'absence d'autres documents médicaux postérieurs, qu'après une période de convalescence raisonnable, le recourant avait à nouveau été apte à exercer une activité adaptée à plein temps. Les deux rapports médicaux précités sont très succincts et ne se prononcent pas sur l'existence d'une éventuelle capacité de travail résiduelle du recourant dans une activité de substitution. A fortiori, ils n'indiquent pas la nature exacte des activités qui pourraient encore être exigibles de la part du recourant, eu égard à ses problèmes de santé. Partant, les considérations des premiers juges selon lesquelles le recourant serait apte à exercer une activité de substitution à plein temps dans une activité adaptée relèvent de pures conjectures qui ne sauraient lier le Tribunal fédéral (<ref-law>). Il s'ensuit que la cause doit être renvoyée à l'administration afin qu'elle mandate un expert dont la tâche consistera à porter un jugement sur l'état de santé du recourant et à indiquer dans quelle mesure et pour quelles activités il est incapable de travailler. Elle évaluera ensuite l'invalidité du recourant. En ce sens, le recours est bien fondé.
4. Vu ce qui précède, les frais de justice sont mis à la charge de l'intimé (<ref-law>), qui versera également une indemnité de dépens au recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal administratif fédéral, Cour III, du 24 février 2009 et la décision sur opposition de l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger du 30 novembre 2006 sont annulés, la cause étant renvoyée à l'administration pour instruction complémentaire au sens des motifs et nouvelle décision.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'000 fr., y compris le taxe sur la valeur ajoutée, à titre de dépens pour l'ensemble de la procédure.
4. Le présent arrêt est communiqué aux parties, au Tribunal administratif fédéral, Cour III, et à l'Office fédéral des assurances sociales.
Lucerne, le 10 août 2009
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Meyer Fretz