A.- La société M._ SA, dotée d'un capital social d'un million de francs, avait pour but la fabrication de fenêtres, la menuiserie générale et la construction de maisons en bois. Membre du conseil d'administration de la société depuis sa fondation en 1977, L._ en était actionnaire et administrateur unique à partir de 1990. La société était affiliée à la Caisse de compensation des entrepreneurs (ci-après : la caisse).
Le 17 janvier 1996, la faillite de M._ SA a été prononcée. La caisse a produit une créance de 170 564 fr. 70 au titre de cotisations AVS/AI/APG/AC impayées, pour la période de mars à novembre 1995, intérêts moratoires et frais de poursuites compris.
Le 19 septembre 1996, la caisse a pris une décision de réparation du dommage par laquelle elle réclamait à L._ le paiement de 170 564 fr. 70, sous déduction d'un éventuel dividende à percevoir dans la faillite de la société.
B.- Le prénommé ayant fait opposition à cette décision, la caisse a porté le cas devant le Tribunal des assurances du canton de Vaud. En cours de procédure, elle a réduit ses prétentions à 149 477 fr. 90, en raison de l'obtention d'un dividende dans la faillite de M._ SA.
Par jugement du 22 novembre 1999, la juridiction cantonale a condamné L._ à payer le montant encore exigé par la caisse.
C.- L._ interjette un recours de droit administratif contre ce jugement en concluant, sous suite de frais et dépens, à sa réforme et au rejet de la demande de la caisse. Cette dernière conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- La décision litigieuse n'ayant pas pour objet
l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2.- En vertu de l'<ref-law>, l'employeur qui, intentionnellement ou par négligence grave, n'observe pas des prescriptions et cause ainsi un dommage à la caisse de compensation est tenu à réparation. Si l'employeur est une personne morale, la responsabilité peut s'étendre, à titre subsidiaire, aux organes qui ont agi en son nom (<ref-ruling> consid. 5b, 122 V 66 consid. 4a, 119 V 405 consid. 2 et les références).
L'intention et la négligence constituent différentes formes de la faute. L'<ref-law> consacre en conséquence une responsabilité pour faute résultant du droit public. Il n'y a obligation de réparer le dommage, dans un cas concret, que s'il n'existe aucune circonstance justifiant le comportement fautif de l'employeur ou excluant l'intention et la négligence grave. A cet égard, on peut envisager qu'un employeur cause un dommage à la caisse de compensation en violant intentionnellement les prescriptions en matière d'AVS, sans que cela entraîne pour autant une obligation de réparer le préjudice. Tel est le cas lorsque l'inobservation des prescriptions apparaît, au vu des circonstances, comme légitime et non fautive (<ref-ruling> consid. 1b, 193 consid. 2b; RCC 1985 p. 603 consid. 2, 647 consid. 3a). Ainsi, il peut arriver qu'en retardant le paiement de cotisations, l'employeur parvienne à maintenir son entreprise en vie, par exemple lors d'une passe délicate dans la trésorerie. Mais il faut alors, pour qu'un tel comportement ne tombe pas ultérieurement sous le coup de l'<ref-law>, que l'on puisse admettre que l'employeur avait, au moment où il a pris sa décision, des raisons sérieuses et objectives de penser qu'il pourrait s'acquitter des cotisations dues dans un délai raisonnable (<ref-ruling>; RCC 1992 p. 261 consid. 4b).
3.- a) Le recourant reconnaît avoir retenu, en sa qualité d'administrateur unique de M._ SA, le paiement des cotisations AVS/AI/APG/AC pour la période de mars à novembre 1995, contrairement à ses obligations légales (<ref-law>, en corrélation avec les <ref-law>). Il conteste toutefois avoir commis une faute qualifiée au sens de l'<ref-law>.
b) D'après les constatations des premiers juges, non contestées par le recourant, le surendettement de M._ SA a triplé entre le 30 septembre et le 31 décembre 1994, passant de 380 000 fr. à 1 200 000 fr. (montants arrondis). Les exercices 1993 et 1994 se sont révélés l'un comme l'autre très largement déficitaires, avec des pertes au bilan de l'ordre de 1 257 000 fr., puis de 2 596 000 fr. Par ailleurs, en 1992, une augmentation du capital-actions de la société s'était déjà révélée nécessaire. Au vu de l'ampleur de ses pertes, cette dernière ne faisait pas simplement face à un manque provisoire de liquidités, que le recourant pouvait, comme il le prétend, espérer combler à bref délai en raison d'un carnet de commande bien rempli ou d'indices favorables sur le marché du bois.
De même, rien n'indique que le recourant ait pu, comme
il l'allègue, sérieusement compter sur de nouveaux engagements de la part des établissements bancaires, de nature à assurer un remboursement rapide des cotisations sociales non versées. Certes, la Banque X._, se fondant sur les comptes de M._ SA au 30 septembre 1994, lui avait octroyé un crédit en décembre 1994. Toutefois, ce dernier arrivait à échéance le 28 février 2000, date à laquelle la banque exigeait que la société fût recapitalisée. Or, non seulement aucun assainissement n'avait eu lieu à cette date, mais la situation s'était notablement péjorée, comme on l'a dit ci-dessus. Les perspectives d'assainissement devenaient donc aléatoires, comme l'ont retenu avec raison les premiers juges, d'autant que des engagements importants, ne ressortant pas du bilan de la société, aggravaient encore la situation financière de celle-ci.
Au vu de ces éléments, les premiers juges n'ont pas violé leur pouvoir d'appréciation en qualifiant les manquements du recourant de faute qualifiée, au sens de l'<ref-law>. Le recours doit par conséquent être rejeté.

Par ces motifs, le Tribunal fédéral des assurances
p r o n o n c e :
I. Le recours est rejeté.
II. Les frais de justice, d'un montant de 5000 fr., sont
mis à la charge du recourant et sont compensés avec
l'avance de frais qu'il a versée.
III. Le présent arrêt sera communiqué aux parties, au Tri-
bunal des assurances du canton de Vaud et à l'Office
fédéral des assurances sociales.
Lucerne, le 22 janvier 2001
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :