Faits:
Faits:
A. Le 5 avril 2000, C._, agriculteur indépendant, a présenté une demande de prestations de l'assurance-invalidité tendant à l'octroi d'une rente. Il alléguait souffrir de lombalgies chroniques.
Après avoir recueilli divers renseignements économiques et médicaux, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a confié à la Clinique X._ la mise en oeuvre d'une expertise pluridisciplinaire.
Par décision du 15 janvier 2003, confirmée sur opposition le 17 mars 2003, l'office AI a rejeté la demande de prestations, motif pris que l'assuré ne présentait pas d'atteinte à la santé susceptible de diminuer sa capacité de travail.
Par décision du 15 janvier 2003, confirmée sur opposition le 17 mars 2003, l'office AI a rejeté la demande de prestations, motif pris que l'assuré ne présentait pas d'atteinte à la santé susceptible de diminuer sa capacité de travail.
B. C._ a déféré la décision sur opposition au Tribunal des assurances du canton de Vaud, qui l'a débouté par jugement du 28 novembre 2003, notifié à l'assuré le 28 juillet 2004.
B. C._ a déféré la décision sur opposition au Tribunal des assurances du canton de Vaud, qui l'a débouté par jugement du 28 novembre 2003, notifié à l'assuré le 28 juillet 2004.
C. C._ interjette recours de droit administratif contre ce jugement, en concluant à l'octroi d'une demi-rente d'invalidité. A l'appui de son recours, il joint de nouveaux rapports médicaux.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le droit éventuel du recourant à une rente de l'assurance-invalidité, singulièrement le degré d'invalidité qu'il présente.
1. Le litige porte sur le droit éventuel du recourant à une rente de l'assurance-invalidité, singulièrement le degré d'invalidité qu'il présente.
2. 2.1 La décision sur opposition litigieuse, rendue le 17 mars 2003, est postérieure à l'entrée en vigueur le 1er janvier 2003 de la loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA). En vertu du principe général de droit transitoire, selon lequel - en cas de changement de bases légales - les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits, il y a lieu d'examiner le droit à une rente au regard de l'ancien droit pour la période jusqu'au 31 décembre 2002 et en fonction de la nouvelle réglementation légale après cette date (<ref-ruling> et les références). Les définitions légales contenues dans la LPGA constituent cependant, en règle générale, une version formalisée dans la loi de la jurisprudence relative aux notions correspondantes avant l'entrée en vigueur de la LPGA; il n'en découle aucune modification du point de vue de leur contenu, de sorte que la jurisprudence développée à leur propos peut être reprise et appliquée (<ref-ruling> consid. 3).
On ajoutera que les modifications de la LAI du 21 mars 2003 (4ème révision), entrée en vigueur le 1er janvier 2004, ne sont pas applicables au présent litige (<ref-ruling> consid. 1.2 et les références).
2.2 Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels relatifs à la notion d'invalidité (<ref-law> et 4 LAI), l'échelonnement des rentes selon le taux d'invalidité (<ref-law>), la naissance du droit à la rente (<ref-law>), ainsi qu'à la valeur probante des rapports et expertises médicaux (<ref-ruling> consid. 3a et les références). Il convient donc d'y renvoyer.
2.2 Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels relatifs à la notion d'invalidité (<ref-law> et 4 LAI), l'échelonnement des rentes selon le taux d'invalidité (<ref-law>), la naissance du droit à la rente (<ref-law>), ainsi qu'à la valeur probante des rapports et expertises médicaux (<ref-ruling> consid. 3a et les références). Il convient donc d'y renvoyer.
3. 3.1 En se fondant sur le rapport d'expertise de la Clinique X._ du 24 mai 2002, la juridiction cantonale a considéré que malgré les troubles dont il souffrait (principalement des lombalgies chroniques, une arthrose lombaire postérieure L3-S1 modérée, un trouble dépressif majeur [degré léger], ainsi qu'un trouble de la personnalité NS [non spécifié]), le recourant ne présentait pas d'atteinte somatique ni de singularité psychique susceptibles de diminuer la capacité de travail dans son activité d'agriculteur.
3.2 De son côté, le recourant conteste l'estimation de la capacité de travail retenue par les premiers juges sur la base de ce rapport. Il estime au contraire qu'à la teneur des différentes pièces médicales produites en cours de procédure et dans la mesure où ses douleurs sont bien réelles et l'empêchent effectivement de travailler, il y a lieu de retenir une incapacité de travail de 50 % au moins, ou de mettre en oeuvre une nouvelle expertise compte tenu de l'existence d'opinions divergentes. Il reproche également aux premiers juges de s'être fondés sur une expertise établie sur dossier et de ne pas avoir tenu compte de l'avis de O._, collaborateur à l'Office d'estimation de R._, lequel a conclu à une incapacité de travail de 56 %.
3.2 De son côté, le recourant conteste l'estimation de la capacité de travail retenue par les premiers juges sur la base de ce rapport. Il estime au contraire qu'à la teneur des différentes pièces médicales produites en cours de procédure et dans la mesure où ses douleurs sont bien réelles et l'empêchent effectivement de travailler, il y a lieu de retenir une incapacité de travail de 50 % au moins, ou de mettre en oeuvre une nouvelle expertise compte tenu de l'existence d'opinions divergentes. Il reproche également aux premiers juges de s'être fondés sur une expertise établie sur dossier et de ne pas avoir tenu compte de l'avis de O._, collaborateur à l'Office d'estimation de R._, lequel a conclu à une incapacité de travail de 56 %.
4. Les griefs soulevés par le recourant ne font pas apparaître d'indices concrets permettant de remettre en cause le point de vue retenu par les premiers juges.
4.1 Ainsi, le rapport d'expertise remplit toutes les conditions auxquelles la jurisprudence soumet la valeur probante d'un tel document. Il se fonde sur des examens complets (examen clinique du docteur B._, expertise psychiatrique du docteur F._) et prend en considération les plaintes exprimées par l'intéressé. Il a été établi en pleine connaissance de l'anamnèse, du dossier médical, ainsi que du contexte psychosocial dans lequel évoluait le recourant. Les points litigieux ont fait l'objet d'une étude circonstanciée. La description du contexte médical et l'appréciation de la situation médicale sont claires et les conclusions des experts sont dûment motivées. On ajoutera par ailleurs que, selon la jurisprudence, une expertise médicale établie sur la base d'un dossier a valeur probante pour autant que celui-ci contienne suffisamment d'appréciations médicales qui, elles, se fondent sur un examen personnel de l'assuré (RAMA 2001 n° U 438 p. 346 consid. 3d).
4.2 Au regard des nombreuses pièces médicales versées au dossier, il n'y a pas de raisons de s'écarter de l'appréciation des médecins de la Clinique X._, selon laquelle le recourant ne présente aucune atteinte significative à la santé physique. Elle corrobore en effet les constatations des différents médecins qui ont examiné l'intéressé en cours de procédure (voir en particulier les rapports du 27 décembre 1999 du docteur A._, des 29 février et 10 novembre 2000 du docteur P._, du 19 mars 2001 du docteur N._, du 15 mai 2001 du docteur D._, ainsi que le rapport du docteur S._, établi à l'intention de la Winterthur Assurances, assureur perte de gain, non produit en instance, mais résumé dans le rapport d'expertise de la Clinique X._).
Les docteurs D._ et S._ ont conclu tous deux à une capacité résiduelle de travail de 50 %. A l'appui de ses conclusions, le docteur S._ a cependant indiqué que son appréciation représentait « un compromis équitable » qui se basait essentiellement sur les plaintes subjectives du recourant; or, les simples plaintes subjectives d'un assuré ne sauraient suffire à justifier une invalidité (entière ou partielle). Quant à l'opinion du docteur D._, elle est insuffisamment motivée au regard du modeste trouble statique que ce médecin a constaté.
4.3 Si les médecins précités n'ont pas relevé de composante organique significative aux douleurs du recourant, ils ont été unanimes à souligner le rôle non négligeable joué par différents éléments d'ordre psychologique et le contexte psychosocial difficile dans lequel évoluait le recourant.
A cet égard, le dossier contient deux rapports psychiatriques. Le docteur F._, expert de la Clinique X._, a diagnostiqué chez le recourant un trouble dépressif majeur (degré léger), se situant au seuil inférieur du diagnostic, ainsi que des traits paranoïaques, à classer dans le groupe résiduel du trouble de la personnalité NS (non spécifié). Ces troubles n'avaient cependant pas de caractère invalidant chez un sujet très peu symptomatique et continuant de garder une activité professionnelle significative, qu'il n'admettait nullement limitée par des motifs psychologiques (rapport du 21 mai 2002). La doctoresse T._, laquelle a été mandatée par la Winterthur Assurances, a, pour sa part, estimé que le recourant présentait une capacité de travail diminuée de 50 % en raison d'une anxiété généralisée, d'un épisode dépressif léger et d'une personnalité limite, à traits paranoïaques et caractériels (rapport d'expertise du 13 avril 2002).
Cette seconde analyse n'est toutefois pas convaincante. Le docteur F._ a en effet expliqué de manière circonstanciée, en s'appuyant sur les critères d'un système de classification reconnu (CIM-10), les raisons pour lesquelles on ne pouvait retenir les diagnostics posés par la doctoresse T._. De plus, l'opinion de cette dernière est en contradiction avec les déclarations du recourant au docteur F._, selon lesquelles il se sentait, depuis le printemps 2001, en rémission complète et récusait toute difficulté d'ordre psychologique.
4.4 En l'absence d'un substrat médical pertinent (tant physique que psychique), entravant la capacité de travail (et de gain) de manière importante, on ne saurait considérer les douleurs ressenties par le recourant comme une atteinte à la santé à caractère invalidant (<ref-ruling> consid. 2.2.2 in fine). Comme l'ont relevé les deux experts psychiatres, l'exacerbation des douleurs lombaires à l'origine de la demande de prestations de l'assurance-invalidité semble bien plutôt trouver son explication dans le contexte psychosocial difficile dans lequel a dû évoluer le recourant dans le cadre d'importantes difficultés conjugales, lesquelles ont provoqué une modification du seuil de tolérance à la douleur. Or, là où l'expert ne révèle pour l'essentiel que des éléments qui trouvent leur explication et leur source dans le champs socioculturel ou psychosocial, on ne saurait parler d'atteintes à la santé à caractère invalidant (<ref-ruling> consid. 5a in fine).
4.5 C'est dès lors à juste titre que les premiers juges ont nié le droit du recourant à des prestations de l'assurance-invalidité.
4.5 C'est dès lors à juste titre que les premiers juges ont nié le droit du recourant à des prestations de l'assurance-invalidité.
5. Le jugement entrepris n'est pas critiquable et le recours se révèle par conséquent mal fondé. Vu la nature du litige, la procédure est gratuite (art. 134 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 4 mai 2005
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: p. le Greffier: