Faits:
A. A.a C._, né en 1962, a déposé le 6 juillet 1998 auprès de l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) une demande tendant à l'octroi d'une rente.
Interrogé par l'administration, le docteur W._, spécialiste FMH en chirurgie orthopédique et médecin traitant, a indiqué que son patient souffrait de lombalgies chroniques (contractures, myalgies), de discopathie L4-L5 et de coxa profunda bilatérale, plus marquée à gauche; la capacité de travail était de 50 % (rapport du 24 septembre 1999). L'assuré s'est soumis du 3 au 28 septembre 2001 à un stage d'observation professionnelle auprès du Centre d'observation professionnelle de l'assurance-invalidité (ci-après: le COPAI). Le docteur M._, spécialiste FMH en néphrologie et en médecine interne, médecin-conseil, a conclu à un rendement inférieur à 40 % (rapport du 8 octobre 2001), tandis que les spécialistes du COPAI ont considéré que la capacité résiduelle de travail de l'assuré était trop faible pour être exploitée dans le milieu économique (rapport du 11 octobre 2001). Après avoir procédé à un examen clinique de l'assuré, le Service médical régional de l'assurance-invalidité (ci-après: le SMR) a estimé que sa capacité de travail était entière dans une activité adaptée (avis du 7 mars 2002). Par décision du 8 mai 2002, l'office AI a rejeté la demande.
Le Tribunal des assurances du canton de Vaud (aujourd'hui: le Tribunal cantonal du canton de Vaud, Cour des assurances sociales) a débouté l'assuré (jugement du 24 novembre 2004). Le Tribunal fédéral des assurances a partiellement admis son recours, annulé ledit jugement ainsi que la décision du 8 mai 2002, et renvoyé la cause à l'office AI pour complément d'instruction et nouvelle décision (arrêt I 248/05 du 7 novembre 2005).
A.b Se conformant à l'arrêt précité, l'administration a confié une expertise au Centre d'Expertise Médicale (ci-après: le CEMed), qui a été rendue le 28 septembre 2006. Les docteurs B._, spécialiste FMH en rhumatologie, R._, spécialiste FMH en psychiatrie et psychothérapie, et H._, spécialiste FMH en neurologie, n'ont fait état d'aucune atteinte invalidante à la santé. Par décision du 7 janvier 2008, l'office AI a dénié à l'intéressé le droit à une rente d'invalidité.
B. L'assuré a déféré cette décision auprès du Tribunal des assurances du canton de Vaud. Les premiers juges ont mandaté la clinique de chirurgie orthopédique de l'Hôpital X._ (expertise du docteur G._, médecin assistant, du 26 juillet 2010, visée par le docteur E._, médecin-chef, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur). Par jugement du 18 avril 2011, le Tribunal cantonal a admis le recours et alloué à l'assuré une rente entière d'invalidité à partir du 1er mai 1998.
C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à la confirmation de sa décision du 7 janvier 2008. Il demande l'octroi de l'effet suspensif du recours.
C._ conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
D. Par ordonnance du 14 septembre 2011, le Tribunal fédéral a admis la requête d'effet suspensif.
Considérant en droit:
1. 1.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer la constatation de faits importants pour le jugement en cause que si ceux-ci ont été établis en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF), c'est-à-dire insoutenable, voire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci (ATF 134 V 53 consid. 4.3 p. 62 et les références).
1.2 Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité - dans la mesure où elle dépendent d'une évaluation de la personne concrète, de son état de santé et de ses capacités fonctionnelles - relèvent d'une question de fait (ATF 132 V 393 consid. 3.2 p. 398).
1.3 Lorsque plusieurs interprétations d'une pièce du dossier sont possibles, le juge constate les faits de manière incomplète s'il privilégie l'une d'entre elles sans s'assurer que les autres peuvent être exclues (arrêt 9C_85/2009 du 15 mars 2010 consid. 3.5).
2. 2.1 Se fondant sur les constatations des experts judiciaires, l'instance cantonale a considéré que la capacité résiduelle de travail de l'intimé dans une activité adaptée était nulle. Cette conclusion rejoignait celle formulée en 2001 par les spécialistes de la rééducation au travail du COPAI, et les diagnostics retenus par les médecins de l'Hôpital X._ confirmaient ceux posés par le docteur W._. L'appréciation des médecins du CEMed, qui s'écartait de l'ensemble de ces éléments concordants, n'était pas convaincante.
2.2 L'office recourant reproche à la juridiction cantonale d'avoir procédé à une constatation manifestement inexacte des faits pertinents consécutive à une mauvaise appréciation des preuves. Il fait grief aux premiers juges de s'être fondés sur les conclusions de l'expertise judiciaire pour retenir l'existence d'une incapacité totale de travailler, alors que ce document ne remplissait pas les conditions auxquelles la jurisprudence soumet la valeur probante d'un rapport médical.
2.3 Selon l'intimé, c'est à bon droit que les premiers juges ont attribué une pleine valeur probante à l'expertise judiciaire, dont il ressortirait clairement une incapacité totale de travail dans une activité adaptée.
3. Il saute aux yeux que l'expertise est peu claire, partiellement contradictoire et incomplète: en effet, si les médecins de l'Hôpital X._ affirment d'un côté que la réinsertion professionnelle de l'intimé n'est pas envisageable en raison d'une invalidation trop lourde (rapport, p. 11 point C 1), ils semblent admettre d'un autre côté qu'une activité adaptée légère est exigible. Ils déclarent ainsi que la reprise d'un travail physique est improbable (rapport, p. 10 point 5) et qu'en considération des sollicitations physiques relativement lourdes intervenant dans un métier manuel, une reconversion vers une autre activité est recommandée (rapport, p. 12 point 4). Ils ne se prononcent cependant ni sur le taux auquel celle-ci pourrait être exercée, ni sur les limitations fonctionnelles à respecter. Répondant aux questions soumises par le Tribunal cantonal, les médecins se sont exprimés ainsi: "La condition physique de Monsieur C._ peut éventuellement être améliorée par une opération faisant suite à une série d'examens de la colonne lombaire. Toutefois, au vu de la chronicisation des douleurs observée, il ne faut pas compter sur une restitution ad integrum. En considération des sollicitations physiques relativement lourdes intervenant dans un métier manuel, nous recommandons plutôt une reconversion du patient vers une autre activité." En allouant une rente d'invalidité entière (dès mai 1998) sur cette base, la juridiction cantonale est tout simplement tombée dans l'arbitraire.
4. Il suit de ce qui précède que le recours est bien fondé. Le jugement attaqué doit être annulé et la cause renvoyée à l'instance cantonale pour instruction complémentaire sous forme d'une surexpertise et nouveau jugement.
Vu l'issue du litige, les frais de la procédure fédérale doivent être mis à la charge de l'intimé (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 18 avril 2011 est annulé. La cause est renvoyée à la juridiction de première instance pour complément d'instruction au sens des considérants et nouvelle décision.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 15 novembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Bouverat