Faits: A. Après que W._ a présenté une demande de prestations de l'assurance-invalidité, le 14 octobre 2005, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) l'a, entre autres mesures d'instruction, soumis à un examen auprès du Centre X._. S'étant adjoint l'aide du docteur L._, spécialiste FMH en psychiatrie et psychothérapie, pour le volet psychiatrique de l'appréciation médicale (rapport du 1er octobre 2007), les docteurs C._, médecin-chef du Centre X._ et R._, généraliste, ont rendu leur expertise le 6 novembre 2007. Selon leurs conclusions, l'assuré n'était plus en mesure de travailler comme agriculteur (activité qu'il avait exercée à titre principal par le passé), mais disposait d'une capacité de travail à plein temps, avec une diminution de rendement de 20 %, dans l'activité de chauffeur de car qui avait été accessoirement la sienne (sans port de bagages), de même que dans une activité adaptée (telle que décrite par les médecins). Le 14 août 2008, l'office AI a rendu une décision par laquelle il a dénié à l'assuré le droit à une rente, au motif qu'il présentait un taux d'invalidité (de 4,43 %) insuffisant pour ouvrir le droit à la prestation requise. B. Par jugement du 19 mai 2010 (dont la rédaction a été approuvée le 30 décembre suivant), la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours formé par l'assuré contre la décision du 14 août 2008. C. Agissant par la voie du recours en matière de droit public, W._ demande au Tribunal fédéral d'annuler le jugement cantonal et de renvoyer la cause à l'office AI pour qu'il mette en oeuvre une expertise médicale. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire. L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.