Faits:
Faits:
A. D._, ressortissant italien né en 1950, a déposé une demande de prestations de l'assurance-invalidité le 28 novembre 1996 sollicitant un reclassement dans une nouvelle profession et, subsidiairement, l'octroi d'une rente. Il invoquait souffrir de polyinsertionite. Au cours de l'instruction ouverte par l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'OAI), l'intéressé a effectué un stage au Centre de formation professionnelle X._ à M._ du 23 février au 22 août 1998. Après avoir recueilli divers avis médicaux, dont celui de la doctoresse G._, spécialiste FMH en médecine interne et rhumatologie (du 7 août 2001) et du docteur S._, spécialiste FMH en psychiatrie et psychothérapie (du 5 octobre 2001), l'OAI a rejeté la demande de prestations, motif pris que le degré d'invalidité présenté par l'assuré (19,43 %) était insuffisant pour donner droit à une rente (décision du 8 septembre 2003).
Saisi d'une opposition de D._, l'OAI a mis en oeuvre un examen rhumatologique et psychiatrique auprès de son service médical régional (SMR). Dans son rapport du 11 novembre 2004, la doctoresse I._, spécialiste FMH en médecine physique et rééducation, a fait état d'une capacité de travail nulle dans l'activité habituelle de plâtrier-peintre et de 70 % dans une activité adaptée. Dans un rapport du 26 novembre 2004, le docteur V._, spécialiste FMH en psychiatrie, a confirmé le diagnostic du docteur S._, selon lequel l'assuré ne subissait aucune réduction de sa capacité de travail sur le plan psychiatrique.
Par décision du 4 janvier 2005, l'OAI a partiellement admis l'opposition de D._ et lui a alloué, à partir du 1er novembre 1997, un quart de rente (ou une demi-rente pour cas pénible selon l'<ref-law> en vigueur jusqu'au 31 décembre 2003), après avoir fixé le taux d'invalidité à 48 %, compte tenu d'un revenu sans invalidité de 64'740 fr., d'un gain hypothétique d'invalide de 33'920 fr. et d'une déduction de 15 %.
Par décision du 4 janvier 2005, l'OAI a partiellement admis l'opposition de D._ et lui a alloué, à partir du 1er novembre 1997, un quart de rente (ou une demi-rente pour cas pénible selon l'<ref-law> en vigueur jusqu'au 31 décembre 2003), après avoir fixé le taux d'invalidité à 48 %, compte tenu d'un revenu sans invalidité de 64'740 fr., d'un gain hypothétique d'invalide de 33'920 fr. et d'une déduction de 15 %.
B. L'assuré a déféré la décision sur opposition au Tribunal des assurances du canton de Vaud en concluant, principalement, à l'octroi d'une rente entière dès le 1er novembre 1997 et, subsidiairement, à l'octroi d'une demi-rente dès le 1er novembre 1997 et un trois-quart de rente dès le 1er janvier 2004.
Par jugement du 15 décembre 2005, notifié le 12 juin 2006, la juridiction cantonale a partiellement admis le recours, en ce sens qu'elle a substitué un abattement de 20 % aux 15 % retenus par l'administration et réformé la décision litigieuse en octroyant à D._ une demi-rente à partir du 1er novembre 1997.
Par jugement du 15 décembre 2005, notifié le 12 juin 2006, la juridiction cantonale a partiellement admis le recours, en ce sens qu'elle a substitué un abattement de 20 % aux 15 % retenus par l'administration et réformé la décision litigieuse en octroyant à D._ une demi-rente à partir du 1er novembre 1997.
C. L'OAI (cause I 612/06) et D._ (cause I 621/06) ont interjeté recours de droit administratif à l'encontre de ce jugement.
L'administration a requis l'annulation de ce dernier. Elle estimait qu'un taux d'abattement de 20 % était manifestement trop élevé et contestait que l'illettrisme et l'intelligence limite de l'assuré puissent être pris en compte comme facteurs de réduction du revenu d'invalide. L'assuré a conclu sous suite de frais et dépens au rejet du recours.
D._ a conclu, sous suite de dépens, à la réforme du jugement entrepris en ce sens qu'il avait droit à un trois-quart de rente d'invalidité dès le 1er janvier 2004. Il reprochait aux premiers juges d'avoir retenu une capacité résiduelle de travail de 70 % dans une activité adaptée alors qu'il subissait une incapacité de travail de 50 % en raison d'une atteinte importante à l'épaule droite. Il sollicitait par ailleurs le bénéfice de l'assistance judiciaire tendant à la dispense de payer les frais judiciaires.
L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2 p. 395).
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2 p. 395).
2. Les recours de droit administratif concernent des faits de même nature, portent sur des questions juridiques communes et sont dirigés contre le même jugement, de sorte qu'il se justifie de les réunir et de les liquider dans un seul arrêt (<ref-ruling> consid. 1 et les références; cf. aussi <ref-ruling> consid. 1).
2. Les recours de droit administratif concernent des faits de même nature, portent sur des questions juridiques communes et sont dirigés contre le même jugement, de sorte qu'il se justifie de les réunir et de les liquider dans un seul arrêt (<ref-ruling> consid. 1 et les références; cf. aussi <ref-ruling> consid. 1).
3. 3.1 Le jugement entrepris porte sur des prestations de l'assurance-invalidité, de sorte que le Tribunal fédéral examine uniquement si l'autorité cantonale de recours a violé le droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation, si les faits pertinents ont été constatés de manière manifestement inexacte ou incomplète ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 al. 2 OJ [dans sa teneur selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI, en vigueur depuis le 1er juillet 2006], en relation avec les art. 104 let. a et b, ainsi que 105 al. 2 OJ).
3. 3.1 Le jugement entrepris porte sur des prestations de l'assurance-invalidité, de sorte que le Tribunal fédéral examine uniquement si l'autorité cantonale de recours a violé le droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation, si les faits pertinents ont été constatés de manière manifestement inexacte ou incomplète ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 al. 2 OJ [dans sa teneur selon le ch. III de la loi fédérale du 16 décembre 2005 portant modification de la LAI, en vigueur depuis le 1er juillet 2006], en relation avec les art. 104 let. a et b, ainsi que 105 al. 2 OJ).
4. L'OAI reproche à la juridiction cantonale d'avoir modifié l'abattement opéré sur le revenu d'invalide en substituant un taux de 20 % à celui de 15 % qu'il avait retenu. L'argumentation de l'administration porte en particulier sur la prise en considération de l'illettrisme et l'intelligence limite comme critères de réduction.
L'étendue de l'abattement dans le cadre de la fixation du revenu d'invalide en raison de circonstances particulières relève du pouvoir d'appréciation de la juridiction cantonale (<ref-ruling> consid. 3.3 p. 399). Or, en fixant à 20 % - soit 5 % de plus que l'administration - la réduction à opérer sur le revenu d'invalide, après avoir considéré que l'assuré ne pouvait exploiter sa capacité résiduelle de travail qu'avec des chances de gain inférieures à la moyenne, en raison de l'illettrisme et de l'intelligence limite dont il souffrait en sus des facteurs objectifs retenus par l'administration, les premiers juges n'ont pas abusé de leur pouvoir d'appréciation. Au demeurant, même dans le cas d'un pouvoir d'examen libre (art. 132 let. a OJ dans sa teneur en vigueur jusqu'au 30 juin 2006; cf. <ref-ruling> consid. 1.2 p. 395), il n'en résulterait pas d'autre conclusion. Les motifs énoncés par la juridiction cantonale ne sont pas pris en compte en tant que facteurs de réduction supplémentaires mais dans le cadre même de l'évaluation de l'exigibilité d'une reprise d'activité professionnelle (<ref-ruling> consid. 2c p. 21). Il s'agit dès lors de motifs pertinents qui, dans le cadre du contrôle de l'opportunité par la juridiction cantonale, font apparaître son appréciation différente comme mieux appropriée à la situation (<ref-ruling> consid. 6 p. 81 et les références).
Le recours de l'OAI apparaît ainsi mal fondé.
Le recours de l'OAI apparaît ainsi mal fondé.
5. De son côté, D._ invoque que l'art. 132 al. 2 OJ, dans sa teneur en vigueur depuis le 1er juillet 2006, serait contraire aux art. 8 al. 1 et 2 Cst. et 14 al. 1 du Pacte international relatif aux droits civils et politiques [Pacte ONU II; RS 0.103.2]), dans la mesure où il prévoit que le Tribunal fédéral est désormais lié par les constatations de faits de la juridiction cantonale lorsque la décision qui fait l'objet d'un recours concerne des prestations de l'AI, alors que le pouvoir d'examen n'est pas restreint quand il s'agit de prestations de l'assurance-accident. Le grief du recourant apparaît d'emblée infondé car il se heurte à l'art. 190 Cst. (auparavant art. 191 Cst.), qui interdit au Tribunal fédéral d'examiner la constitutionnalité des lois fédérales (<ref-ruling> consid. 3 p. 565 s.). Au demeurant, le recourant n'explique pas en quoi l'OJ serait sur ce point précis désormais contraire au droit international qu'il invoque.
5. De son côté, D._ invoque que l'art. 132 al. 2 OJ, dans sa teneur en vigueur depuis le 1er juillet 2006, serait contraire aux art. 8 al. 1 et 2 Cst. et 14 al. 1 du Pacte international relatif aux droits civils et politiques [Pacte ONU II; RS 0.103.2]), dans la mesure où il prévoit que le Tribunal fédéral est désormais lié par les constatations de faits de la juridiction cantonale lorsque la décision qui fait l'objet d'un recours concerne des prestations de l'AI, alors que le pouvoir d'examen n'est pas restreint quand il s'agit de prestations de l'assurance-accident. Le grief du recourant apparaît d'emblée infondé car il se heurte à l'art. 190 Cst. (auparavant art. 191 Cst.), qui interdit au Tribunal fédéral d'examiner la constitutionnalité des lois fédérales (<ref-ruling> consid. 3 p. 565 s.). Au demeurant, le recourant n'explique pas en quoi l'OJ serait sur ce point précis désormais contraire au droit international qu'il invoque.
6. 6.1 Dans un second grief, l'assuré fait valoir que l'état de fait constaté par la juridiction de première instance est incomplet dans la mesure où elle a retenu qu'il n'avait pas d'atteinte importante à l'épaule droite, ce qui aurait dû être constaté par une imagerie par résonance magnétique (IRM), que les juges n'ont pas mise en oeuvre. L'assuré avait fait effectuer de sa propre initiative une IRM qui constatait l'existence d'une atteinte grave à l'épaule droite.
6.2 L'argumentation du recourant n'est pas de nature à faire apparaître la constatation des faits opérée par l'instance précédente comme lacunaire ou erronée, ni que ceux-ci auraient été établis au mépris des règles essentielles de procédure (consid. 3.1). En effet, contrairement à ce que prétend l'assuré, tant la doctoresse I._ que la doctoresse G._ ont établi de manière objective l'existence d'une atteinte à l'épaule droite. Tandis que la doctoresse G._ a fait état d'une synovite de l'épaule droite avec conflit sous-acromial bilatéral, prédominant à droite, la doctoresse I._ a mis en évidence une atteinte de la coiffe des rotateurs à droite avec déchirure partielle du tendon du sus-épineux - qu'avait déjà démontrée une IRM effectuée en 1997 - et un conflit sous-acromial bilatéral. Toutes deux ont conclu à une capacité de travail nulle de l'assuré dans son ancienne activité de plâtrier-peintre en raison de l'atteinte à l'épaule droite. En revanche, dans une activité légère tenant compte des limitations fonctionnelles de l'assuré, la doctoresse I._ a retenu une capacité de travail de 70 %. Quant à la doctoresse G._, elle a conclu à une capacité résiduelle de travail totale dans une activité légère ne sollicitant pas la coiffe des rotateurs. En raison de céphalées et de douleurs rachidiennes peu étayées, la capacité de travail n'était plus que de 50 %.
Au vu de ce qui précède, la juridiction cantonale pouvait retenir, sans violer le droit fédéral, une capacité de travail de 70 % dans une activité adaptée.
Au vu de ce qui précède, la juridiction cantonale pouvait retenir, sans violer le droit fédéral, une capacité de travail de 70 % dans une activité adaptée.
7. Le revenu sans invalidité de 64'740 fr. retenu tant par l'administration que par la juridiction cantonale n'est pas contesté.
Au titre du revenu d'invalide, la juridiction cantonale, à l'instar de l'administration, a pris comme référence le salaire de 4'557 fr., correspondant à celui versé à des hommes pour des activités simples et répétitives dans le secteur privé en 2002 (TA1, ESS 2002), qu'elle a adapté à l'horaire usuel de travail de 41,7 heures, pour obtenir un montant de 4'750 fr. 65 par mois, soit un salaire annuel de 57'008 fr. Ce montant n'est pas non plus contesté. D._ conteste en revanche le montant de 31'924 fr. 50 retenu par les premiers juges au titre du revenu d'invalide après adaptation au taux d'activité de 70 % encore exigible et compte tenu d'une réduction de 20 %. Dans la mesure où il n'y a pas lieu de revenir sur la capacité de travail résiduelle ni sur le taux d'abattement retenus par la juridiction cantonale, le revenu d'invalide de 31'924 fr. 50 est correct.
Partant, le recours de D._ s'avère mal fondé.
Partant, le recours de D._ s'avère mal fondé.
8. En l'espèce, les deux causes qui ont été jointes opposent, d'une part, l'OAI à D._ (I 612/06) et, d'autre part, D._ à l'OAI (I 621/06). La procédure est en principe onéreuse (art. 134 2ème phrase OJ, dans sa teneur en vigueur depuis le 1er juillet 2006). Vu l'impossibilité de déterminer la date exacte à laquelle le recours de l'OAI a été formé (écriture du 29 juin 2006, parvenue au Tribunal fédéral le 4 juillet 2006), il se justifie de renoncer à mettre un émolument judiciaire à la charge de l'office AI qui succombe comme partie recourante (art. 153 al. 1 et 156 al. 1 OJ) dans la procédure I 612/06. D._, qui obtient gain de cause, peut prétendre une indemnité de dépens à charge de l'office recourant (art. 159 al. 1 en relation avec l'art. 135 OJ). Quant à D._, il succombe à son tour comme partie recourante dans la procédure I 621/06. Dès lors qu'il remplit les conditions d'octroi de l'assistance judiciaire gratuite (art. 152 al. 1 et 2 en corrélation avec l'art. 135 OJ; <ref-ruling> consid. 4a, 372 consid. 5b et les références), ses frais judiciaires seront assumés par la caisse du tribunal. Il convient cependant d'attirer son attention sur le fait qu'il pourra être tenu de rembourser la caisse du tribunal s'il devient ultérieurement en mesure de le faire (art. 152 al. 3 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes I 612/06 et I 621/06 sont jointes.
1. Les causes I 612/06 et I 621/06 sont jointes.
2. Le recours de l'OAI (cause I 612/06) est rejeté.
2. Le recours de l'OAI (cause I 612/06) est rejeté.
3. Le recours de D._ (cause I 621/06) est rejeté.
3. Le recours de D._ (cause I 621/06) est rejeté.
4. Les frais de justice, consistant en un émolument de 500 fr., sont mis à la charge de D._. L'assistance judiciaire, tendant à la dispense des frais, lui est accordée. Les frais de justice sont supportés provisoirement par la caisse du Tribunal fédéral.
4. Les frais de justice, consistant en un émolument de 500 fr., sont mis à la charge de D._. L'assistance judiciaire, tendant à la dispense des frais, lui est accordée. Les frais de justice sont supportés provisoirement par la caisse du Tribunal fédéral.
5. L'office de l'assurance-invalidité du canton de Vaud versera à D._ la somme de 500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
5. L'office de l'assurance-invalidité du canton de Vaud versera à D._ la somme de 500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
6. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 23 juillet 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière: