Faits: Faits: A. A.a C._, né en 1937, s'est annoncé à la Caisse cantonale vaudoise de compensation AVS (ci-après : la caisse) le 2 décembre 2002 en vue d'obtenir des prestations complémentaires de l'AVS. Disposant des informations usuelles à l'établissement de la situation financière de l'assuré, la caisse a rendu, le 20 janvier 2003, deux décisions portant sur le droit de l'assuré aux prestations complémentaires. Dans la première décision, elle a alloué une prestation complémentaire mensuelle de 10 fr. pour les mois de novembre et décembre 2002. Dans la seconde, elle a nié le droit à une prestation complémentaire à partir du 1er janvier 2003. Parmi les différents éléments du calcul, l'administration a tenu compte, dans ses deux décisions, d'un tiers du loyer annuel (5'800 fr.) au titre des dépenses reconnues, motif pris que l'assuré, son frère et sa belle-soeur, A._ et B._, occupaient le même appartement. A.b L'assuré s'est opposé à ces décisions, en demandant implicitement à ce que la totalité du loyer fût pris en compte pour déterminer son droit aux prestations complémentaires. Dans les différentes écritures qu'il a adressées à la caisse, l'assuré a soutenu qu'il occupait seul son appartement et que le domicile des époux était fictif; ces derniers vivant en France (lettres de Me O._ du 12 février 2003, de C._ des 19 mai 2003 et 24 septembre 2003). A l'appui de son argumentation, il a produit deux factures d'électricité EDF/GDF (échéancier aux 23 novembre 2000 et 22 novembre 2002) et une facture de téléphone du 11 juillet 2003, établies en France au nom de son frère et de sa belle-soeur. Des investigations complémentaires de la caisse, il est ressorti en particulier que A._ et B._ s'étaient annoncés le 3 mai 2002 au contrôle des habitants de la commune de X._ et avaient déclaré qu'ils résidaient chez l'assuré depuis le 15 mars 2001 (rapport du contrôle des habitants de la commune de X._ du 18 juillet 2003). Par décision du 3 mars 2004, la caisse a rejeté l'opposition. Par décision du 3 mars 2004, la caisse a rejeté l'opposition. B. L'assuré a déféré cette décision au Tribunal des assurances du canton de Vaud en concluant à son annulation. Par jugement du 28 octobre 2004, la juridiction cantonale a rejeté le recours au motif que C._, son frère et sa belle-soeur sont domiciliés à la même adresse. Par jugement du 28 octobre 2004, la juridiction cantonale a rejeté le recours au motif que C._, son frère et sa belle-soeur sont domiciliés à la même adresse. C. C._ interjette recours de droit administratif contre ce jugement dont il demande implicitement l'annulation en concluant derechef à la prise en compte de la totalité du loyer dans le calcul des prestations complémentaires. La caisse intimée conclut au rejet du recours tandis que l'Office fédéral des assurances sociales n'a pas présenté de déterminations.