A.- F._ a été opéré en avril 1987 pour une hernie discale L4-L5 droite. Souffrant d'un syndrome lombo-radiculaire droit résiduel, il a abandonné son métier de
maçon et s'est reconverti comme chauffeur-livreur. Il a été licencié pour des motifs économiques en février 1993. Après avoir tenté en vain de reprendre sa première activité professionnelle en mai 1995, il a séjourné dans divers services de neurochirurgie en 1995 et suivi un traitement auprès de l'établissement thermal cantonal vaudois de Z._.
F._ a déposé une demande de prestations de l'assurance-invalidité le 23 octobre 1995. L'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : OAI) a confié un mandat d'expertise au Centre d'observation médicale de l'AI (COMAI).
Par décision du 17 août 1998 l'OAI a rejeté la demande de prestations au motif que la capacité de travail de F._ était entière dans l'activité de chauffeurlivreur, selon les conclusions du COMAI.
B.- F._ a recouru contre cette décision devant le Tribunal des assurances du canton de Vaud.
Celui-ci a ordonné une expertise psychiatrique et confié son exécution au docteur P._.
Par jugement du 28 mars 2000, le Tribunal des assurances a admis le recours et reconnu à F._ le droit à une demi-rente d'invalidité du 1er mai 1996 au 30 septembre 1997, puis à une rente entière dès le 1er octobre 1997.
C.- L'OAI interjette recours de droit administratif contre ce jugement et conclut à son annulation.
F._ a conclu au rejet du recours avec suite de dépens. Il requiert le bénéfice de l'assistance judiciaire.
L'Office fédéral des assurances sociales propose
en revanche de l'admettre.

Considérant en droit :
1.- Les premiers juges ont correctement exposé les dispositions légales et la jurisprudence relatives au droit à une rente de l'assurance-invalidité, de sorte qu'on peut, sur ce point, renvoyer au jugement entrepris.
2.- Dans son rapport du 29 novembre 1999, le docteur P._ a conclu à l'existence d'une incapacité de travail de 50 % de 1993 à 1997 et de 100 % depuis lors. Cette conclusion repose sur la constatation d'un tableau psychiatrique lourd consistant en un état dépressif profond chez une personne probablement fragilisée par une longue souffrance physique. Selon l'expert, l'état dépressif de l'assuré est d'une telle importance qu'il exclut toute activité, quelle que soit la profession; à cela s'ajoutent une symptomatologie douloureuse qui par son effet sur l'humeur aggrave encore la symptomatologie dépressive et le fait que l'assuré doit consommer de grandes quantités de médicaments qui peuvent influencer négativement la conduite automobile, ce qui exclut également l'activité de chauffeur-livreur.
C'est sur cette base que les premiers juges ont reconnu à F._ le droit à une demi-rente d'invalidité du 1er mai 1996 au 30 septembre 1997 et à une rente entière après cette date.
3.- En substance, le recourant soutient que le rapport d'expertise du docteur P._ est dénué de valeur probante faute d'être suffisamment explicite et précis, et que certaines constatations de l'expert sont en contradiction avec les conclusions du rapport du COMAI.
a) En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant c'est que les points litigieux aient fait l'objet d'une étude fouillée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées (<ref-ruling> consid. 3a et les références).
b) En l'espèce, le docteur P._ avait pour mission de renseigner les premiers juges sur l'état de santé psychique de F._. Il a eu accès au dossier de la cause et, en particulier, au rapport du COMAI. L'expert a mené trois entretiens avec l'assuré et procédé à un test de Hamilton qui n'avait pas été pratiqué auparavant. Le rapport du 29 novembre 1999 relate de manière circonstanciée les données anamnestiques; il décrit le contexte médical avec précision et les conclusions sont motivées de manière convaincante.
c) C'est en vain que le recourant argüe que ni les médecins de Y._ dans leurs rapports des 29 avril 1993 et 11 août 1995, ni ceux de l'Etablissement de Z._ dans leur rapport du 16 octobre 1995, ni le médecin traitant dans son rapport du 15 janvier 1996 ne relèvent de troubles psychiques. Ces rapports n'émanent pas de spécialistes en psychiatrie. En revanche le docteur B._, psychiatre, confirme dans l'expertise du COMAI l'existence d'un état dépressif avec symptômes somatiques, sans toutefois formuler de conclusion catégorique sur la capacité de travail de F._.
Contrairement à l'avis du recourant, il n'existe par ailleurs aucune contradiction entre les conclusions du rapport du COMAI et les constatations du docteur P._ selon lesquelles, lors de la première consultation, F._ utilisait des béquilles et éprouvait des difficutés à se mouvoir et à se maintenir en position assise. Il ressort en effet du rapport critiqué par le recourant que ces difficultés faisaient suite à une nouvelle et récente intervention chirurgicale. Ces constatations sont, du reste, sans incidence sur l'avis de l'expert, dont les conclusions se limitent aux aspects psychiatriques.
d) Dans son préavis, l'OFAS émet des réserves quant au diagnostic posé par le docteur P._, au motif qu'il ne se fonde que sur le test de Hamilton et que l'intimé aurait adopté un comportement de méfiance face à ce type de questionnaire. Cette critique est également infondée. Aux dires de l'expert, l'assuré s'est montré très collaborant pendant les entretiens, en dépit de son étonnement d'être à nouveau évalué sur le plan psychiatrique alors qu'il ne ressent subjectivement aucun problème psychique. De plus, l'expert relève que l'intimé méconnaît sa thymie et banalise tout ce qui concerne l'aspect affectif.
e) Au vu de ce qui précède, il apparaît que la valeur probante de l'expertise du docteur P._ ne peut être mise en doute et qu'on ne saurait dès lors faire grief aux premiers juges d'avoir fondé leur conviction sur ce moyen de preuve.
Le jugement entrepris n'étant ainsi pas critiquable, le recours est infondé.
4.- S'agissant d'un litige qui concerne l'octroi ou le refus de prestations d'assurance, la procédure est gratuite (art. 134 OJ). En outre, la partie qui obtient gain de cause a droit à des dépens (art. 135 en corrélation avec l'art. 159 OJ). La demande d'assistance judiciaire est dès lors sans objet.

Par ces motifs, le Tribunal fédéral des assurances
p r o n o n c e :
I. Le recours est rejeté.
II. Il n'est pas perçu de frais de justice.
III. L'Office de l'assurance-invalidité versera à l'intimé
une indemnité de dépens de 1500.- fr. (y compris la
taxe à la valeur ajoutée) pour la procédure fédérale.
IV. Le présent arrêt sera communiqué aux parties, au Tri-
bunal des assurances du canton de Vaud et à l'Office
fédéral des assurances sociales.
Lucerne, le 22 janvier 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :