A.- L._, né en 1937, est titulaire d'un certificat fédéral de capacité d'horloger. Après avoir exercé cette profession pendant quelques années, il a changé d'emploi à plusieurs reprises. De septembre 1990 à septembre 1995, il a travaillé, en qualité d'indépendant, au sein d'une entreprise de charpente appartenant à son frère et à ses neveux, pour un revenu de 30 000 fr. par année. Il a cessé d'exercer cette activité lucrative en octobre 1995 et dépend depuis lors des prestations des services sociaux de sa commune de domicile.
Le 13 janvier 1998, le prénommé a déposé une demande de prestations de l'assurance-invalidité, faisant valoir qu'il souffrait de diverses atteintes à la santé. Dans des rapports des 18 mars 1998 et 26 avril 1999, son médecin traitant, le docteur P._, a attesté d'une incapacité de travail de 50 % depuis le mois de janvier 1996. Mandaté à titre d'expert par l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI), le docteur V._, spécialiste des maladies respiratoires et en médecine interne, a également fait état d'une incapacité de travail de 50 %. Il a posé le diagnostic d'asthme bronchique, de diabète sucré de type II, d'hypertrophie de la prostate et d'état anxio-dépressif modéré (expertise du 14 avril 2000). Dans un rapport complémentaire daté du 21 septembre 2000, il a précisé que sur le plan strictement respiratoire, la capacité de travail de l'assuré était entière, ses fonctions pulmonaires n'étant que légèrement diminuées.
Entre-temps, par décision du 8 août 2000, l'office AI a rejeté la demande de prestations de L._.
B.- Le 3 avril 2001, le Tribunal des assurances du canton de Vaud a rejeté le recours formé par l'assuré contre cette décision.
C.- L._ interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. Il conclut principalement à l'octroi d'une demi-rente d'invalidité, et subsidiairement au renvoi de la cause à l'intimé pour instruction complémentaire et nouvelle décision.
L'office AI conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Le jugement entrepris expose correctement les dispositions légales et la jurisprudence applicables en l'espèce, de sorte qu'on peut y renvoyer.
2.- Le recourant fait d'abord grief à la juridiction cantonale de n'avoir pas pris en considération l'ensemble de ses atteintes à la santé pour évaluer sa capacité de travail résiduelle, mais uniquement ses difficultés respiratoires, et se réfère au taux d'incapacité de travail retenu par le docteur V._ dans l'expertise du 14 avril 2000, ainsi que par le docteur P._ dans ses rapports des 18 mars 1998 et 26 avril 1999.
a) Dans l'expertise du 14 avril 2000, le docteur V._ atteste d'une incapacité de travail de 50 %, principalement en raison des affections respiratoires de l'assuré, l'état anxio-dépressif modéré ainsi que le diabète sucré contribuant cependant à cette incapacité. L'expert n'explique toutefois pas à quels empêchements concrets l'assuré se trouve confronté et se borne à indiquer qu'il présente "différents problèmes médicaux qui, isolément, ne sont pas sévères", mais qui, additionnés, "représentent nettement une entrave à la santé". Si l'on peut admettre, au vu de cette brève motivation, l'existence d'une incapacité de travail partielle pour les travaux nécessitant un effort physique particulier, il ne saurait en aller de même pour les activités moins pénibles. A cet égard, le docteur V._ indique dans son rapport complémentaire du 21 septembre 2000 que les examens des fonctions pulmonaires de l'assuré ont donné des résultats pratiquement dans la norme et que ses problèmes respiratoires n'entraînent, à eux seuls, aucune incapacité de travail. Cette conclusion permet d'exclure, sans qu'une nouvelle expertise soit nécessaire, une incapacité de travail significative dans une activité peu astreignante physiquement, même si l'on prend en considération l'influence secondaire de l'état anxio-dépressif et du diabète dont souffre l'assuré.
b) Les rapports établis les 14 mars 1998 et 26 avril 1999 par le docteur P._ ne permettent pas de s'écarter de cette analyse. Sommaires, ils se bornent à indiquer le diagnostic et le taux d'incapacité de travail retenus, ainsi qu'à décrire brièvement quelques symptômes constatés. Parmi ceux-ci, les plus gênants sont des troubles respiratoires (dyspnée) entraînant une fatigue accrue, voir des vertiges occasionnels, principalement lors d'efforts. Le docteur V._ a toutefois souligné l'absence de gravité des atteintes respiratoires dont souffre l'assuré, ou du moins leur faible influence sur sa capacité de travail. A cet égard, les constatations dont ce praticien fait état dans son rapport du 21 septembre 2000 sont étayées par les résultats d'examens spécialisés auxquels il a procédé et revêtent une valeur probante supérieure à celles dont bénéficient les rapports du docteur P._.
3.- Le recourant a également produit, à l'appui de ses conclusions, un rapport médical rédigé le 18 juin 2001 par son médecin traitant, lequel fait état d'une aggravation du diabète dont souffre son patient. Cette circonstance n'a toutefois pu se produire que postérieurement à la décision litigieuse du 8 août 2000, au regard de la concentration de sucre dans le sang constatée par le docteur V._ en avril 2000. Aussi est-elle sans pertinence en l'espèce, dès lors que le juge des assurances sociales doit statuer sur le recours de droit administratif dont il est saisi en se fondant sur l'état de fait au moment de la décision litigieuse (cf. <ref-ruling> consid. 1b et les arrêts cités).
4.- Compte tenu de sa capacité de travail résiduelle entière dans les activités peu astreignantes physiquement, le recourant pouvait manifestement réaliser, malgré ses atteintes à la santé, un revenu supérieur au 40 % de celui qu'il aurait pu obtenir sans atteinte à la santé, au moment de la décision litigieuse. A cet égard, il convient de prendre en considération, à titre de revenu sans invalidité, un montant annuel de 30 000 fr., correspondant aux gains réalisés par le recourant entre les mois de septembre 1990 et septembre 1995. Rien n'indique que ce revenu, demeuré constant pendant 5 ans, aurait augmenté par la suite.
Or, en bénéficiant d'une pleine capacité de travail dans les activités n'imposant pas d'effort physique particulier, le recourant était encore en mesure de réaliser, au moment de la décision litigieuse, un salaire notablement supérieur à 12 000 fr. Partant, il présente un taux d'invalidité inférieur au seuil de 40 % ouvrant droit à une rente de l'assurance-invalidité.

Par ces motifs, le Tribunal fédéral des assurances,
prononce :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 4 juillet 2002
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
Le Greffier :