Faits:
A. Après que W._ a présenté une demande de prestations de l'assurance-invalidité, le 14 octobre 2005, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) l'a, entre autres mesures d'instruction, soumis à un examen auprès du Centre X._. S'étant adjoint l'aide du docteur L._, spécialiste FMH en psychiatrie et psychothérapie, pour le volet psychiatrique de l'appréciation médicale (rapport du 1er octobre 2007), les docteurs C._, médecin-chef du Centre X._ et R._, généraliste, ont rendu leur expertise le 6 novembre 2007. Selon leurs conclusions, l'assuré n'était plus en mesure de travailler comme agriculteur (activité qu'il avait exercée à titre principal par le passé), mais disposait d'une capacité de travail à plein temps, avec une diminution de rendement de 20 %, dans l'activité de chauffeur de car qui avait été accessoirement la sienne (sans port de bagages), de même que dans une activité adaptée (telle que décrite par les médecins). Le 14 août 2008, l'office AI a rendu une décision par laquelle il a dénié à l'assuré le droit à une rente, au motif qu'il présentait un taux d'invalidité (de 4,43 %) insuffisant pour ouvrir le droit à la prestation requise.
B. Par jugement du 19 mai 2010 (dont la rédaction a été approuvée le 30 décembre suivant), la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours formé par l'assuré contre la décision du 14 août 2008.
C. Agissant par la voie du recours en matière de droit public, W._ demande au Tribunal fédéral d'annuler le jugement cantonal et de renvoyer la cause à l'office AI pour qu'il mette en oeuvre une expertise médicale. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.
L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Eu égard à l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, il n'examine que les griefs invoqués, pour autant que les vices ne soient pas évidents. Il n'est pas tenu de traiter toutes les questions juridiques qui se posent, comme le ferait une autorité de première instance, lorsque celles-ci ne sont pas ou plus abordées devant lui.
2. Dans la mesure où le recourant s'en prend exclusivement à la validité formelle de l'expertise du Centre X._, sans exposer en quoi le jugement entrepris est contraire au droit, on peut se demander si son recours satisfait aux exigences de motivation prévues par l'art. 42 al. 1 et 2 LTF. Ce point peut cependant demeurer indécis, dès lors que l'argumentation du recourant est mal fondée, comme il ressort de ce qui suit.
2.1 Se référant à la doctrine (JACQUES MEINE, L'expert et l'expertise, Critères de validité de l'expertise médicale, in L'expertise médicale, 2002, p. 16 sv.), le recourant soutient que faute d'être "limpide et publiable", le rapport du Centre X._ n'est pas recevable quant à sa forme en raison des trente ajouts et corrections manuels qu'il comporte. Ceux-ci auraient par ailleurs dû être signés ou paraphés par le ou les médecins qui y avaient procédé. Selon le recourant, il serait, de plus, inacceptable que l'expertise renvoie, dans sa partie principale, à un rapport psychiatrique séparé pour l'appréciation psychiatrique.
2.2 Selon la jurisprudence, en ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant, c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (ATF 125 V 351 consid. 3a p. 352; 122 V 157 consid. 1c p. 160 et les références).
2.2 Selon la jurisprudence, en ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant, c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (ATF 125 V 351 consid. 3a p. 352; 122 V 157 consid. 1c p. 160 et les références).
2.3 2.3.1 Le rapport d'expertise en cause, signé par les docteurs C._ et R._, comporte différentes parties, dont sous la rubrique "A.3 CONSTATATIONS", notamment l'examen clinique de la doctoresse R._ et l'évaluation rhumatologique du docteur O._, rhumatologue. Il est assorti d'annexes composées d'une évaluation psychiatrique du docteur L._ (du 1er octobre 2007) ainsi que des résultats d'examens effectués à la demande des médecins du Centre X._ (analyses sanguines, rapports radiologique et d'IRM du genou droit). Le texte dactylographié comporte plusieurs amendements manuscrits, dont l'auteur n'est pas reconnaissable, faute d'indication.
Pour autant, ces corrections - dont on aurait pu attendre des experts qu'ils les incluent dans le texte dactylographié et en présentent une version définitive - ne constituent pas des défauts formels déterminants quant à la valeur probante du rapport en cause. Comme l'a retenu à juste titre la juridiction cantonale, il s'agit pour l'essentiel de corrections de forme (ponctuation, orthographe et syntaxe) qui ne nuisent pas à la compréhension de l'expertise, mais visent à en faciliter la lecture, et qui ne sont par ailleurs pas décisives pour évaluer l'état de santé du recourant. Ainsi, indépendamment des ajouts en cause, le contexte médical, le résultat des différents examens et l'appréciation de la situation médicale sont clairement décrits, de même que les conclusions des experts sont dûment motivées. Le recourant ne s'en prend du reste pas au contenu matériel de l'expertise, si ce n'est sur un point - l'adjonction d'un diagnostic sous la rubrique "diagnostics" - qui n'est pas non plus pertinent. Avec les premiers juges, on constate en effet que l'indication manuscrite "arthrose métatarsophalangienne bilatérale" fait référence à un diagnostic dont a fait état le docteur O._ ("lésions dégénératives des articulations MTP 1 des deux côtés"; p. 13) et dont il a tenu compte pour évaluer la capacité de travail sur le plan rhumatologique, de sorte que la rectification manuscrite n'a pas d'incidence matérielle.
2.3.2 Contrairement à ce que soutient ensuite le recourant, l'expertise ne renvoie pas simplement, pour le volet psychiatrique, au rapport psychiatrique séparé du docteur L._, ni ne constitue une juxtaposition de rapports médicaux. La partie principale de l'expertise reprend les évaluations de tous les médecins qui ont participé à l'appréciation du cas, celle du docteur L._ y figurant de manière résumée avec un renvoi à son rapport en annexe. Par ailleurs, selon les indications figurant dans l'expertise, une conférence de consensus entre tous ces médecins a eu lieu, de sorte que les réponses aux questions posées ont fait l'objet d'une discussion entre les experts qui ont apporté des réponses communes sur la base d'un accord commun (cf. JACQUES MEINE, L'expert et l'expertise - critères de validité de l'expertise médicale, in L'expertise médicale Genève 2002, p. 23 sv.; FRANÇOIS PAYCHÈRE, Le juge et l'expert - plaidoyer pour une meilleure compréhension, ibidem, p. 147). L'expertise contient ainsi une partie consacrée à la discussion générale du cas ("A.5 APPRECIATION DU CAS ET PRONOSTIC", p. 13) qui intègre les différents éléments pertinents dont ont fait état les médecins chargés d'examiner le recourant. Il n'y a dès lors pas lieu de remettre en cause la qualité formelle de l'expertise en cause, les caractéristiques formelles ne consistant au demeurant que l'un des facteurs permettant d'en pondérer la portée, son contenu matériel restant en fin de compte déterminant.
3. Il résulte de ce qui précède que le recours est mal fondé, sans que d'autres aspects du jugement entrepris ne doivent être examinés, faute d'être remis en cause par le recourant.
4. Les frais de justice sont à la charge du recourant, qui ne peut prétendre de dépens (art. 66 al. 1 et 68 al. 1 LTF). Il convient toutefois d'accepter sa demande d'assistance judiciaire, dès lors qu'il a établi son indigence, que le recours n'était pas d'emblée dénué de chances de succès et que l'assistance d'un avocat était indiquée (cf. art. 64 al. 1 et 2 LTF). Le recourant est rendu attentif au fait qu'il devra rembourser la caisse du tribunal s'il se trouve ultérieurement en mesure de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Il n'est pas perçu de frais judiciaires.
4. Maître Jean-Marie Agier est désigné en tant qu'avocat d'office du recourant et une indemnité de 1'800 fr. lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 4 octobre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Moser-Szeless