A.- La société M._ SA, dotée d'un capital social d'un million de francs, avait pour but la fabrication de fenêtres, la menuiserie générale et la construction de maisons en bois. Membre du conseil d'administration de la société depuis sa fondation en 1977, L._ en était actionnaire et administrateur unique à partir de 1990. La société était affiliée à la Caisse de compensation des entrepreneurs (ci-après : la caisse). Le 17 janvier 1996, la faillite de M._ SA a été prononcée. La caisse a produit une créance de 170 564 fr. 70 au titre de cotisations AVS/AI/APG/AC impayées, pour la période de mars à novembre 1995, intérêts moratoires et frais de poursuites compris. Le 19 septembre 1996, la caisse a pris une décision de réparation du dommage par laquelle elle réclamait à L._ le paiement de 170 564 fr. 70, sous déduction d'un éventuel dividende à percevoir dans la faillite de la société. B.- Le prénommé ayant fait opposition à cette décision, la caisse a porté le cas devant le Tribunal des assurances du canton de Vaud. En cours de procédure, elle a réduit ses prétentions à 149 477 fr. 90, en raison de l'obtention d'un dividende dans la faillite de M._ SA. Par jugement du 22 novembre 1999, la juridiction cantonale a condamné L._ à payer le montant encore exigé par la caisse. C.- L._ interjette un recours de droit administratif contre ce jugement en concluant, sous suite de frais et dépens, à sa réforme et au rejet de la demande de la caisse. Cette dernière conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.