A.- Fondée le 16 octobre 1990, la Société C._ SA, avait notamment pour but l'accueil, l'hospitalisation, le diagnostic et le traitement de patients dans des établissements hospitaliers appropriés, ainsi que la gestion de cliniques ou d'établissements hospitaliers. Son capital social était à l'origine de 100 000 fr., réparti en 100 actions nominatives de 1000 fr. chacune. Le 28 mars 1991, la société a modifié sa raison sociale, qui est devenue V._ SA. Son capital social a été porté de 100 000 à 600 000 fr. Dès le mois de mai 1991, M._ en fut le président du conseil d'administration. La société comptait alors six autres administrateurs, dont Z._. Elle était engagée par la signature collective à deux du président, du vice-président et de l'administratrice déléguée. La fonction de l'organe de révision était exercée par la société T._ SA, dont l'administrateur délégué était Z._. La F._ SA était chargée de toutes les tâches et de tous les problèmes liés à l'exploitation de l'ICV, notamment la gestion financière et l'établissement des charges salariales, conformément à un "contrat de gestion et de management". Z._ était également administrateur délégué de cette société. B.- Le 30 mars 1993, la faillite de V._ SA a été prononcée par le Juge I du district de Sion. Une administration spéciale fut composée de Me S._, avocat, et de B._. Cette administration a été présentée le 3 mai 1993 à la première assemblée des créanciers, qui l'a confirmée. L'état de collocation a été déposé le 27 septembre 1996. C.- Le 13 février 1997, la Caisse cantonale valaisanne de compensation a notifié à M._ une décision en réparation du dommage pour un montant de 499 937 fr. 75. Ce montant représentait des cotisations AVS/AI/APG/AC qui étaient restées impayées sur les salaires versés par la société pour la période de janvier 1991 à février 1993. M._ a formé opposition. D.- Le 26 mars 1997, la caisse de compensation a assigné M._ en paiement de la somme susmentionnée. Statuant le 23 mars 1999, le Tribunal des assurances du canton du Valais a entièrement fait droit aux conclusions de la caisse. E.- M._ interjette un recours de droit administratif dans lequel il conclut, sous suite de frais et dépens, à l'annulation de ce jugement et demande à être libéré de toute dette envers la caisse de compensation. Préalablement, il requiert la suspension de la cause jusqu'à droit connu sur le sort d'une procédure pénale en cours, actuellement pendante devant le Tribunal d'instruction pénale du Valais central. La caisse de compensation conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet. F.- Le 17 août 1999, le juge délégué a rejeté la demande de suspension de la procédure présentée par le recourant.