A.- Les époux B. et M. S._, ressortissants des Pays-Bas, sont domiciliés en Suisse depuis le mois de juin 1994. L'épouse n'a jamais exercé d'activité lucrative. Quant au mari, il a cessé son activité professionnelle à la fin de l'année 1992. Il reçoit une rente d'invalidité de la sécurité sociale hollandaise (versée par son ex-employeur et rétrocédée par celui-ci à l'assuré), des prestations du fonds de pension de son ancien employeur (qui seront versées jusqu'au moment ou l'intéressé aura atteint l'âge de la retraite) et, enfin, un complément de prestations versé par ce même employeur. Par décisions du 19 janvier 1998, la Caisse cantonale valaisanne de compensation a procédé à l'affiliation des époux S._ en tant que personnes sans activité lucrative, à partir du 1er juillet 1994 en ce qui concerne le mari et dès le 1er janvier 1997 s'agissant de l'épouse. En ce qui concerne le mari, les cotisations AVS/AI/APG, ainsi que les frais d'administration, s'élevaient à 3432 fr. 60 pour les années 1994 et 1995 et à 3328 fr. 60 pour l'année 1996 (intérêts moratoires non compris). Pour l'année 1997, une cotisation de 1560 fr. était mise à la charge de chacun des époux. La cotisation à la charge du mari pour 1994 était due au prorata de la période d'assujettissement au cours de cette année (sept mois). B.- Les époux S._ ont recouru contre ces décisions en faisant notamment valoir que la caisse de compensation ne s'était pas prononcée sur leur demande d'exemption, motivée par le fait que le paiement de cotisations aux assurances suisse et néerlandaise entraînait un cumul de charges trop lourdes. Par écriture du 29 mars 1999, la caisse de compensation a conclu au rejet du recours. Le même jour, elle a rendu deux nouvelles décisions, par lesquelles elle a refusé d'accorder l'exemption demandée. Les époux S._ ont également recouru contre ces deux décisions. Après avoir joint les causes, le Tribunal des assurances du canton du Valais a rejeté les recours par jugement du 14 janvier 2000. C.- Les époux S._ interjettent un recours de droit administratif dans lequel ils demandent au Tribunal fédéral des assurances de constater qu'ils ne sont pas assurés obligatoirement à l'AVS suisse. Subsidiairement, ils concluent à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité administrative pour nouvelle décision. La caisse de compensation conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.