A.- A._ a été administrateur unique avec signature individuelle des sociétés X._ SA et Z._ SA depuis la constitution de celles-ci; les faillites de ces sociétés ont été prononcées les 19 mars et 30 avril 1998. Par deux décisions, des 15 et 23 février 1999, la Caisse cantonale neuchâteloise de compensation (ci-après : la caisse) a condamné A._ à payer les sommes de 28 889 fr. 80 et de 2811 fr. 90, à titre de réparation du dommage résultant du non-paiement des cotisations d'assurances sociales dues respectivement par X._ et Z._. A._ a formé opposition en temps utile contre ces deux décisions. B.- Saisi par la caisse, le Tribunal administratif du canton de Neuchâtel a condamné A._ à payer à cette dernière 25 047 fr. 95 et 2224 fr. 65 à titre de réparation du dommage, par jugement du 30 novembre 2000. C.- A._ interjette recours de droit administratif contre ce jugement. Il conclut à son annulation, principalement à libération des fins de l'action de la caisse et, à titre subsidiaire, au renvoi de la cause aux premiers juges. La caisse conclut au rejet du recours, cependant que l'Office fédéral des assurances sociales a renoncé à se déterminer.