Faits: A. A.a Après que M._, ressortissant portugais, a présenté une demande de prestations de l'assurance-invalidité, l'Office cantonal genevois de l'assurance-invalidité (ci-après: l'office AI) l'a informé qu'il prenait en charge un stage d'observation professionnelle du 3 mai au 2 juillet 1999 et du 2 août au 3 septembre 1999 (communication du 30 avril 1999). Par décisions des 21 mai et 4 juin 1999, l'administration l'a également mis au bénéfice d'une rente entière d'invalidité fondée sur un taux d'invalidité de 100 % à partir du 1er juin 1998. Elle lui a par ailleurs alloué des indemnités journalières dès le 3 mai 1999 (décision du 9 juin 1999), en indiquant que la rente d'invalidité devait être limitée au 30 septembre 1999, soit dès la fin du troisième mois civil entier suivant le début des mesures de réadaptation. A partir de fin septembre 1999, le versement de la rente a été suspendu (cf. courrier de l'administration à l'assuré du 21 octobre 1999) avant d'être rétabli rétroactivement, l'office AI ayant déterminé, dans une décision du 19 novembre 1999, le montant des rentes à verser rétroactivement à l'intéressé dès le 1er octobre 1999. A.b Initiant une procédure de révision, comme il en avait averti l'assuré par courrier du 21 octobre 1999, l'office AI a confié une expertise au docteur W._, spécialiste FMH en rhumatologie et médecine physique (rapport du 26 novembre 2001, complété le 9 février 2002), puis au Professeur E._, médecin-chef au service de rhumatologie, médecine physique et réhabilitation de l'Hôpital X._ (rapport du 2 décembre 2003). A la suite du départ de M._ pour son pays d'origine, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (ci-après: l'OAIE) a continué l'instruction du dossier. Par décision du 18 septembre 2006, il a supprimé la rente entière de l'assuré à partir du 1er novembre 2006, au motif qu'elle avait été payée à tort. A.c Cette décision ayant été annulée sur recours de l'assuré par le Tribunal administratif fédéral (cf. arrêt du 21 août 2008), qui a renvoyé la cause à l'administration pour instruction complémentaire, l'OAIE a confié une expertise pluridisciplinaire à la Clinique Y._. Dans un rapport du 26 mai 2009, les docteurs B._, spécialiste FMH en médecine interne et en rhumatologie, U._, spécialiste FMH en médecine interne, et F._, spécialiste FMH en psychiatrie et psychothérapie, ont diagnostiqué notamment des lombalgies chroniques, des troubles dégénératifs lombaires, une discopathie L4-L5 et L5-S1, ainsi qu'une arthrose postérieure L3 à S1 avec spondylolisthesis dégénératif de L3 sur L4. Ces atteintes limitaient à 40 % la capacité de travail de l'assuré dans une activité physiquement exigeante pour le dos (comme celles de cuisinier ou de concierge qu'il avait exercées par le passé); en revanche, dans une activité adaptée telle que décrite par les experts, la capacité de travail pouvait être totale. Le 10 novembre 2009, l'OAIE a rendu une nouvelle décision par laquelle il a confirmé la suppression de la rente à partir du 1er novembre 2006. B. Statuant le 12 avril 2011 sur le recours formé par M._ contre cette décision, le Tribunal administratif fédéral l'a rejeté. C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de dépens, il conclut à ce que lui soit versée une rente entière d'invalidité pour la période postérieure au 1er novembre 2006, assortie d'intérêts moratoires à 5 % l'an dès le 1er novembre 2008. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.