Caisse cantonale vaudoise de compensation AVS-AI-APG, Rue du Lac 37, 1815 Clarens, intimée, et Tribunal des assurances du canton de Vaud, Lausanne A.- La société X._ Sàrl, dont J._ fut associé-gérant avec signature individuelle, était gérée par la société Y._, dont J._ fut également administrateur, jusqu'à la faillite de cette dernière. Par la suite, la société à responsabilité limitée fut rachetée par trois amis de J._, qui remirent l'affaire aux filles de ce dernier, V._ et M._. Dès le 1er janvier 1996, V._ a été inscrite au registre du commerce en qualité d'associée-gérante avec signature individuelle et M._ en qualité d'associée de cette société qui, dans l'intervalle, avait pris la raison sociale Z._. La faillite de Z._ a été prononcée le 1er avril 1998. Par décision du 4 juin 1999, la caisse cantonale vaudoise de compensation (ci-après: la caisse) a réclamé à J._, V._ et M._ la somme de 22'972 fr. 30 correspondant au montant en capital, intérêts et frais des cotisations AVS/AI/APG/AC impayées par la société faillie pour les années 1996, 1997 et 1998. J._, V._ et M._ ont formé opposition en temps utile contre cette décision. B.- Saisi par la caisse, le Tribunal des assurances du canton de Vaud a, par jugement du 16 octobre 2000, admis la demande dirigée contre J._ et V._, condamnant ces derniers à payer à la caisse 18'647 fr. 40 solidairement entre eux, et rejeté la demande en tant qu'elle était dirigée contre la défenderesse M._. C.- J._ et V._ interjettent recours de droit administratif contre ce jugement, dont ils requièrent l'annulation, avec suite de frais et dépens. La caisse a conclu au rejet du recours cependant que l'Office fédéral des assurances sociales n'a pas déposé de déterminations.