Faits :
A.
A.a. Près de cinq ans après s'être vu refuser une première demande de prestations de l'assurance-invalidité, A._, domicilié en France, a présenté une seconde demande visant à l'octroi d'une rente de l'assurance-invalidité, le 1er juillet 2004. Il a notamment indiqué que pour des raisons de santé, il avait dû cesser son activité de chauffeur-déménageur au service de la société C._ SA en 2003. Par décision du 16 novembre 2006, l'Office cantonal genevois de l'assurance-invalidité a nié le droit de l'assuré à une rente.
A.b. À la suite d'un recours de A._ contre cette décision, qui a conduit à l'annulation de celle-ci et au renvoi de la cause à l'administration pour instruction complémentaire (arrêt du Tribunal administratif fédéral du 19 août 2009), l'assuré a été soumis à un examen auprès de la doctoresse B._, spécialiste FMH en psychiatrie et psychothérapie. Dans son rapport du 18 février 2010, diagnostiquant des troubles mixtes de la personnalité, le médecin a retenu que l'assuré subissait une limitation de sa capacité de travail de 30 %, dans quelque activité que ce soit. L'administration a mis en oeuvre un stage d'observation professionnelle auprès des Établissements D._ du 1er au 26 novembre 2010, avant de confier une expertise au docteur E._, spécialiste FMH en rhumatologie et en médecine interne. Le médecin a fait état de lombo-pseudo-sciatalgies bilatérales chroniques, de troubles statiques modérés et dégénératifs importants du rachis qui empêchaient l'assuré d'exercer son activité de chauffeur-déménageur; une activité adaptée (sans port de charges au-delà de 10 kg et excluant les mouvements répétitifs du rachis en porte-à-faux) restait cependant exigible de l'assuré, à un taux de 100 % de 2003 à mai 2007, puis à un taux de 80 % à partir de mai 2007 (rapport du 21 février 2012). De son côté, l'assuré a produit les rapports de la doctoresse F._, spécialiste FMH en médecine interne générale, (du 31 juillet 2012), selon laquelle la capacité de travail était nulle dans toute activité, et du docteur H._, spécialiste FMH en neurologie, (du 3 septembre 2012), qui confirmait l'arrêt de travail total depuis plusieurs années.
Par décision du 10 décembre 2012, l'OAIE a reconnu le droit de A._ à une demi-rente d'invalidité, fondée sur un degré d'invalidité de 53 %, à partir du 1er mars 2004.
B.
Statuant le 27 juin 2014 sur le recours formé par A._ contre cette décision, le Tribunal administratif fédéral l'a rejeté.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler le jugement entrepris, ainsi que la décision du 10 décembre 2012, puis de lui allouer une rente entière de l'assurance-invalidité.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit :
1.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire arbitraire et si la correction du vice est susceptible d'influer sur le sort de la cause (ATF 134 V 53 consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2 LTF, respectivement de l'art. 106 al. 2 LTF (ATF 133 II 249 consid. 1.4.3 p. 254 s.).
2.
Au regard des motifs et conclusions du recours (cf. art. 107 LTF), seul est litigieux en instance fédérale le droit du recourant à une rente supérieure à la demi-rente d'invalidité qui lui a été allouée par l'intimé à partir du 1er mars 2004. À cet égard, le jugement entrepris expose de manière complète les règles légales et la jurisprudence applicables en l'espèce. Il suffit d'y renvoyer.
3.
Le recourant se plaint d'une constatation manifestement inexacte des faits et d'une appréciation arbitraire des preuves, en ce qui concerne la capacité résiduelle de travail de 70 % dans une activité adaptée retenue par l'autorité judiciaire de première instance. Il lui reproche de s'être fondée sur les rapports des docteurs B._ et E._, en écartant pour des raisons insoutenables l'avis respectif des docteurs F._ et H._, et de n'avoir pas pris en considération d'autres avis médicaux au dossier.
3.1. Sous l'angle de l'appréciation de son état de santé psychique, le recourant oppose en vain les conclusions de la doctoresse F._ à celles de la doctoresse B._. Alors que la psychiatre mandatée par l'intimé a fait état d'une diminution de 30 % de la capacité de travail, dans quelque activité que ce soit, en raison des troubles mixtes de la personnalité présentés par l'assuré, la doctoresse F._ n'a retenu aucune limitation de la capacité de travail pour des motifs psychiques. Elle a diagnostiqué un trouble dépressif récurent, épisode actuel moyen, avec syndrome somatique, en mentionnant n'avoir pas observé de trouble de la personnalité. Elle a cependant indiqué, en renvoyant à l'avis du docteur H._, que "seuls les symptômes douloureux provoqués par l'atteinte du rachis sont responsables de [l']incapacité totale de travail [de l'assuré] car son état dépressif de gravité moyenne lui permettrait de travailler". Par conséquent, à supposer que la juridiction fédérale de première instance eût dû prendre en considération l'appréciation de la doctoresse F._, comme le fait valoir le recourant, elle n'aurait pas pu en déduire une limitation de la capacité de travail sur le plan psychique.
Pour le reste, la critique du recourant à l'encontre de l'évaluation de la doctoresse B._ est mal fondée. Contrairement à ce qu'il affirme, loin de retenir "une longue liste des troubles psychiques dont souffre Monsieur A._" sans justifier la capacité de travail retenue, la psychiatre a posé un seul diagnostic avec répercussion sur la capacité de travail (soit des troubles mixtes de la personnalité), en expliquant que, mal compensée, cette atteinte entraînait des limitations qui interféraient à 30 % dans quelque activité que ce soit. Par ailleurs, quoi qu'en dise le recourant, l'indication de la psychiatre selon laquelle des mesures de réadaptation professionnelle étaient théoriquement envisageables - le pronostic d'une reprise d'une activité professionnelle étant qualifié de mauvais - n'apparaît pas manifestement inexacte au regard des conclusions du rapport de D._. Les conseillers de D._ ont justifié le fait que la capacité de travail de l'assuré était inexploitable, notamment par l'attitude du recourant, qui se considérait comme incapable de rentrer dans une démarche de réinsertion et incapable de travailler, ce qu'avait précisément relevé la doctoresse B._ pour expliquer le mauvais pronostic.
Tant le grief du recourant tiré de "l'exclusion arbitraire" du rapport de la doctoresse F._ que celui relatif aux "lacunes manifestes" de l'avis de la doctoresse B._ tombent donc à faux. Aussi, l'appréciation du Tribunal administratif fédéral quant à l'état de santé psychique du recourant et les répercussions en découlant sur la capacité résiduelle de travail (limitation de 30 %) n'apparaît-elle pas arbitraire.
3.2. À l'inverse, on ne saurait suivre l'appréciation de la juridiction fédérale de première instance sur l'état de santé sur le plan somatique et ses répercussions sur la capacité de travail du recourant.
3.2.1. En l'espèce, les évaluations respectives des docteurs E._ et H._ s'opposent en ce qui concerne les atteintes au niveau dorso-lombaire et leurs effets sur la capacité de travail du recourant. Le docteur E._ a fait état de lombo-pseudo-sciatalgies bilatérales chroniques, d'une scoliose dextroconvexe et d'"une discarthrose L5-S1 marquée par une diminution de l'espace intersomatique de ce segment et sclérose des plateaux correspondant et vide discal". Il a indiqué ne pas être d'accord avec la présence d'une macro-instabilité, apparemment constatée par le docteur H._ après un bilan radiologique en mai 2007, parce qu'il ne retrouvait aucun glissement significatif manifeste de la vertèbre L5 sur S1 sur les clichés en fonctionnel de mai 2007. Le docteur E._ a conclu que l'état de santé de l'assuré avait subi une aggravation objective (clinique et radiologique) dès mai 2007; celle-ci justifiait une incapacité totale de travail dans l'activité de chauffeur, ainsi qu'une certaine diminution de rendement dans une activité adaptée, estimée à 20 % et liée à la diminution de la vitesse d'exécution de certaines tâches impliquant le rachis et l'éventualité de prendre des pauses supplémentaires.
De son côté, le docteur H._ a mis en évidence un "syndrome lombaire massif caractérisé par des douleurs exacerbées ou survenant à l'occasion de mouvements banaux". Selon lui, l'assuré présentait une macro-instabilité évidente (au vu de l'espace intersomatique L5-S1 par pneumatisation), qui provoquait des douleurs d'instabilité, l'appareil ligamentaire antérieur et postérieur étant complètement détendu, de sorte que les mouvements non freinés de la colonne lombaire pouvaient être extrêmement douloureux. Le médecin a conclu que "le patient, porteur d'une instabilité lombo-sacrée invalidante, est à juste titre au bénéfice d'un arrêt de travail total depuis plusieurs années. Il n'y a absolument aucune disparité entre la symptomatologie clinique et les documents radiologiques".
Invité à se prononcer sur l'appréciation respective des deux médecins, le docteur G._, médecin auprès du Service médical régional de l'assurance-invalidité, Suisse romande, a indiqué qu'"avec toute vraisemblance, il existe cette instabilité comme le cliché dynamique le prouve", mais que les limitations fonctionnelles retenues par l'expert (soit le docteur E._) étaient compatibles avec une telle atteinte à la santé (avis du 26 septembre 2012).
3.2.2. Compte tenu de la divergence entre les conclusions du docteur H._ et celles du docteur E._, la juridiction de première instance ne pouvait pas, sans faire preuve d'arbitraire, se contenter d'écarter les premières au motif que le docteur H._ traitait l'assuré depuis plusieurs années et n'avait pas expliqué pourquoi l'instabilité lombo-sacrée rendait toute activité impossible, y compris une activité adaptée aux limitations fonctionnelles retenues par le docteur E._, que celui-ci considérait comme exigible à 80 %. En premier lieu, le fait que le docteur H._ a été consulté à plusieurs reprises par l'assuré entre avril et juin 2007, puis en février 2008 - selon l'anamnèse établie par le docteur E._, les rapports de son confrère ne figurant à tort pas au dossier établi par l'intimé - ne justifie pas la prudence avec laquelle le Tribunal administratif fédéral prend en considération l'appréciation du médecin. Celui-ci a été consulté par le recourant en raison de ses connaissances spécialisées en neurochirurgie, sans assumer le rôle de médecin traitant de l'assuré.
Il est vrai, ensuite, que le spécialiste mandaté par le recourant n'a pas expressément pris position sur la possibilité d'exiger de celui-ci qu'il exerçât une activité adaptée, alors qu'il a indiqué que l'assuré pouvait en bonne partie prévenir les exacerbations en mettant un lombostat (qu'il n'utilisait plus du tout systématiquement). La conclusion de l'expert sur l'arrêt total de travail depuis des années, justifié à ses yeux, laisse cependant entendre que l'incapacité totale de travail incluait toute activité, quelle qu'elle soit. Par ailleurs, le docteur H._ a surtout mis en évidence un élément objectif, à savoir une instabilité lombo-sacrée, qui a été niée à tort par l'expert mandaté par l'intimé, aux dires du docteur G._. Or les effets de cette lésion ne sont pas clairement établis: si le docteur H._ retient que cette atteinte entraîne pour l'assuré d'importantes douleurs incapacitantes, il ne s'exprime pas de manière suffisamment précise sur une éventuelle capacité résiduelle de travail. Quant à la simple affirmation du docteur G._ selon laquelle les limitations fonctionnelles retenues par le docteur E._ étaient compatibles avec la lésion retenue par son confrère H._, elle est insuffisamment motivée pour emporter la conviction. En outre, les autres pièces médicales invoquées par le recourant ne lui sont d'aucun secours. Les rapports des docteurs I._ (du 16 décembre 2010) et J._ (du 6 mai 2011) sont antérieurs aux avis mandatés respectivement par le recourant et par l'intimé, de sorte qu'ils n'apportent aucun élément utile pour lever les divergences en cause. Il en va de même du rapport de la doctoresse F._, qui s'attache avant tout à expliquer pourquoi l'assuré ne souffre pas d'un trouble somatoforme douloureux et se contente dans une large mesure sous l'angle somatique de renvoyer à l'évaluation du docteur H._.
Par conséquent, au regard des avis opposés des docteurs E._ et H._, la constatation de la juridiction de première instance sur la capacité résiduelle de travail de 80 % apparaît manifestement inexacte et ne saurait être suivie. Elle aurait, à tout le moins, dû soumettre le rapport du docteur H._ et l'avis du docteur G._ à l'expert mandaté par l'intimé, pour qu'il se prononce à nouveau sur l'instabilité lombo-sacrée diagnostiquée par ses confrères. Il convient dès lors de renvoyer la cause au Tribunal administratif fédéral pour qu'il complète l'instruction sur le plan médical quant aux atteintes lombaires dont souffre le recourant et les effets de celles-ci sur sa capacité résiduelle de travail.
3.3. Il résulte de ce qui précède que le recours est bien fondé. L'arrêt attaqué doit être annulé dans la mesure où il porte sur le droit du recourant à une rente de l'assurance-invalidité supérieure à une demi-rente à partir du 1er mars 2004.
4.
Vu l'issue de la procédure, les frais judiciaires y afférents sont mis à la charge de l'intimé (art. 66 al. 1 LTF). Celui-ci prendra également en charge l'indemnité de dépens que peut prétendre le recourant (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. L'arrêt du Tribunal administratif fédéral du 27 juin 2014 est annulé dans la mesure où il porte sur le droit du recourant à une rente de l'assurance-invalidité supérieure à une demi-rente à partir du 1 er mars 2004. La cause est renvoyée à l'autorité précédente pour nouvelle décision après instruction complémentaire. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties, au Tribunal administratif fédéral et à l'Office fédéral des assurances sociales.
Lucerne, le 23 décembre 2014
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Kernen
La Greffière : Moser-Szeless