A.- a) I._ a exercé la profession de tôlier.
Souffrant de troubles auditifs (il porte un appareil), il s'est annoncé à l'assurance-invalidité le 13 juillet 1994.
L'assuré a bénéficié de mesures de réadaptation d'ordre professionnel de cette assurance. Dans un premier temps, il a effectué, selon ses voeux, des stages auprès de diverses institutions du secteur social en vue d'y acquérir une formation d'aide-soignant. Ces mesures n'ont pas abouti, pour diverses raisons exposées dans un rapport intermédiaire de l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) du 7 janvier 1999.
L'administration a alors décidé d'encadrer l'intéressé dans un projet rationnel et adéquat, au besoin assorti d'une courte période de mise au courant en entreprise. Le stage de trois mois, initialement prévu à cet effet du 25 janvier au 24 avril 1999 auprès du Centre d'intégration professionnelle OSER, a également échoué, de sorte que l'office AI l'a interrompu prématurément avec effet au 26 février 1999. Dans leur rapport du 19 février 1999, les responsables du centre OSER ont notamment indiqué que l'assuré pourrait être réadapté dans un emploi de magasinier en pièces détachées pour autos, ou dans le secteur de la vente (kiosque, quincaillerie), activités pour lesquelles une mise au courant en entreprise serait nécessaire.
b) L'assuré a perçu des indemnités journalières de l'AI durant son reclassement. Par décision du 5 mars 1999, l'office AI a prolongé une dernière fois son droit à l'indemnité jusqu'au 28 février 1999.
Dans une seconde décision du 2 septembre 1999, l'office AI a arrêté le revenu annuel sans invalidité de I._ à 70 191 fr. Evaluant son revenu annuel d'invalide à 43 000 fr., il a constaté que le taux d'invalidité s'élevait ainsi à 38,73 %. En conséquence, l'administration a rejeté la demande de prestations, tout en réservant la prise en charge d'un stage aux frais de l'AI si l'intéressé devait trouver une place nécessitant une petite formation.
B.- Alléguant que son reclassement n'était pas achevé, I._ a recouru contre la décision du 5 mars 1999 devant le Tribunal des assurances du canton de Vaud, en concluant au versement d'indemnités journalières jusqu'au terme de sa réadaptation ou jusqu'à l'octroi d'une rente.
Par ailleurs, l'assuré a également déféré la décision du 2 septembre 1999 au Tribunal cantonal, en concluant au versement d'une demi-rente d'invalidité à partir du 13 juillet 1995. Il a sollicité la mise en oeuvre d'une expertise, afin de déterminer la nature des activités professionnelles qui lui sont encore ouvertes ainsi que son rendement dans celles-ci.
Par jugement du 6 juillet 2000, la juridiction cantonale a rejeté la demande d'expertise et les recours, après avoir joint les causes.
C.- I._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens. Il conclut au paiement d'une rente d'invalidité dès le 13 juillet 1995, au versement d'indemnités journalières jusqu'au 31 août 1999, et renouvelle sa demande d'expertise.
L'intimé conclut implicitement au rejet du recours.
L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- a) Selon l'art. 28 al. 2 LAI, la réadaptation a la priorité sur la rente dont l'octroi n'entre en ligne de compte que si une réadaptation suffisante est impossible.
Saisie d'une demande de rente ou appelée à se prononcer à l'occasion d'une révision de celle-ci, l'administration doit donc élucider d'office, avant toute chose, la question de la réintégration de l'assuré dans le circuit économique (<ref-ruling> s., 99 V 48).
L'assuré a droit au reclassement dans une nouvelle profession si son invalidité rend nécessaire le reclassement et si sa capacité de gain peut ainsi, selon toute vraisemblance, être sauvegardée ou améliorée de manière notable (art. 17 al. 1 LAI). Il a droit à une indemnité journalière pendant la réadaptation si les mesures de réadaptation l'empêchent d'exercer une activité lucrative durant trois jours consécutifs au moins ou s'il présente, dans son activité habituelle, une incapacité de travail de 50 % au moins (art. 22 al. 1 LAI, première phrase).
b) En l'espèce, l'intimé a rempli à satisfaction son obligation de réintégrer le recourant dans le circuit économique, en prenant à sa charge (du 23 octobre 1995 au 26 février 1999) des mesures d'ordre professionnel (art. 17 al. 1 et 28 al. 2 LAI). Toutefois, devant un constat d'échec, c'est à juste titre qu'il y a mis fin, avec effet au 26 février 1999, puis a passé à l'examen du droit de l'assuré à une rente d'invalidité.
A cet égard et contrairement à ce que le recourant soutient, la poursuite d'une formation professionnelle jusqu'en juin 1999, de son propre chef, n'a pas d'incidence sur le droit à l'indemnité journalière. De même, la loi et l'ordonnance ne prévoient pas le versement de telles indemnités jusqu'à ce que l'AI statue sur le droit à la rente, en l'occurrence le 2 septembre 1999.
Mais surtout, le droit aux indemnités journalières, en tant que droit accessoire, dépend de la prestation principale qui est la prise en charge de la mesure de réadaptation elle-même (<ref-ruling> consid. 3a et la référence).
S'il est mis un terme à cette dernière, comme en l'espèce, il n'y a plus de raison de les verser. En pareilles circonstances, l'assuré ne saurait donc revendiquer à bon droit des indemnités durant soixante jours, en vertu de l'art. 19 RAI. On ajoutera que l'art. 31 al. 1 LAI - prévu pour les rentes - n'est pas applicable par analogie à la suppression des indemnités journalières quand l'assuré met un terme à la mesure de réadaptation (arrêt non publié N.
du 16 janvier 1991, I 27/90).
c) En conséquence, la décision du 5 mars 1999 était conforme au droit fédéral, si bien que les conclusions du recourant portant sur le versement d'indemnités journalières jusqu'au 31 août 1999 sont mal fondées.
2.- a) Selon l'art. 28 al. 1 LAI, l'assuré a droit à une rente entière s'il est invalide à 66 2/3 % au moins, à une demi-rente s'il est invalide à 50 % au moins, ou à un quart de rente s'il est invalide à 40 % au moins; dans les cas pénibles, l'assuré peut, d'après l'art. 28 al. 1bis LAI, prétendre une demi-rente s'il est invalide à 40 % au moins.
b) Le recourant conteste le revenu sans invalidité de 70 191 fr. que l'intimé a retenu dans sa décision du 2 septembre 1999, alléguant qu'il pourrait être plus élevé compte tenu de son expérience et de son savoir-faire. Dans sa prise de position du 15 juillet 1999 sur le projet de décision du 5 juillet précédent, il a notamment rappelé qu'il avait travaillé en septembre 1995 en qualité de serrurier auprès de son ancien employeur pour un salaire horaire net de 35 fr.
L'administration a constaté qu'il n'existe pas de convention collective dans le canton de Vaud pour les tôliers industriels. D'après les renseignements qu'elle a obtenus auprès de divers employeurs, les rémunérations sont très variables, le salaire d'un tôlier expérimenté pouvant s'échelonner entre 28 et 35 fr. de l'heure (voire 40 fr.
dans de rares cas) selon les qualifications et l'ancienneté dans l'entreprise (cf. note interne du 28 avril 1999). Par ailleurs, elle a interrogé l'ancien employeur du recourant, lequel a déclaré que le salaire dont bénéficiait le travailleur en 1992 (70 191 fr.) était élevé et qu'il n'aurait certainement pas été augmenté s'il avait continué son activité de tôlier (rapport de l'intimé du 29 avril 1999).
c) L'instruction portant sur le revenu sans invalidité que pourrait obtenir le recourant est incomplète. En particulier, on ne connaît pas l'évolution des salaires au sein de l'entreprise G._ dans laquelle le recourant travaillait, tout comme on ignore si le salaire de 70 191 fr., qu'il percevait en 1992, aurait le cas échéant été adapté à l'évolution des prix jusqu'en 1999, année où la décision litigieuse a été rendue. A cet égard, il n'est guère plausible qu'un salaire demeure inchangé durant sept ans, alors que les prix et le marché du travail ont évolué dans l'intervalle.
Quoi qu'il en soit, comme le taux d'invalidité se situait près de la limite des 40 %, l'intimé aurait dû se montrer plus précis dans son évaluation et ne pas se contenter de vagues informations orales.
Il faut ajouter que le juge n'est pas en mesure de vérifier la pertinence des données chiffrées prises en compte par l'administration, dès lors qu'on ignore l'identité des tiers qui ont renseigné l'intimé et que le contenu de leurs déclarations verbales n'a été que succinctement résumé par l'intimé (cf. à ce sujet Stéphane Blanc, La procédure administrative en assurance-invalidité, thèse Fribourg 1999, pp. 136 et 191).
d) En revanche, le revenu d'invalide a été correctement évalué. En effet, contrairement à ce que le recourant soutient, les statistiques dont on dispose permettent d'évaluer le salaire qu'il pourrait obtenir dans les divers emplois qui lui sont accessibles (chauffeur poids lourds, chauffeur-livreur, magasinier, ouvrier d'usine) compte tenu de son handicap (cf. rapport de l'intimé du 29 avril 1999).
Quant à son rendement, il n'est pas réduit (cf. attestation de stage du 17 février 1999).
e) Il s'ensuit que la décision du 2 septembre 1999 et le jugement attaqué (dans la mesure où il concerne cette dernière décision) seront annulés, la cause étant renvoyée à l'intimé afin qu'il détermine à nouveau le revenu hypothétique du recourant et rende une nouvelle décision sur le droit de celui-ci à une rente d'invalidité.
f) Quant à l'expertise dont le recourant requiert la mise en oeuvre, elle est superflue, car on connaît déjà la nature des activités professionnelles qui lui sont accessibles dans un marché équilibré du travail (cf. rapport du centre OSER, du 19 février 1999; Stéphane Blanc, op. cit. , p. 193 ss).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. La requête d'expertise est rejetée.
II. Le recours est partiellement admis en ce sens que la décision de l'Office de l'assurance-invalidité pour le canton de Vaud du 2 septembre 1999 ainsi que le jugement
du Tribunal des assurances du canton de Vaud du 6 juillet 2000 (dans la mesure où il concerne cette
décision) sont annulés, la cause étant renvoyée à
l'intimé pour instruction complémentaire au sens des
considérants et nouvelle décision. Le recours est
rejeté pour le surplus.
III. Il n'est pas perçu de frais de justice.
IV. L'intimé versera au recourant la somme de 1000 fr. à titre de dépens réduits pour l'instance fédérale.
V. Le Tribunal des assurances du canton de Vaud statuera
sur les dépens pour la procédure de première instance,
au regard de l'issue du procès de dernière instance.
VI. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 14 mars 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :