A.- En 2000, F._ était affilié à la Caisse-maladie pour les industries du bois et du bâtiment et branches annexes (ci-après : la CMBB ou la caisse) notamment pour une indemnité journalière en cas d'incapacité de travail due à la maladie, dans le cadre d'un contrat collectif de l'association X._. A la suite d'un accident survenu le 27 janvier 2000, le prénommé a été reconnu incapable de travailler pour une durée indéterminée. Après que l'assureur-accidents a supprimé le versement de ses prestations d'assurance, la CMBB lui a alloué des indemnités journalières dès le 17 février 2000.
Le 4 juillet 2000, F._ s'est présenté au guichet de l'agence de la CMBB pour y déposer un certificat médical de son médecin traitant, le docteur M._, aux termes duquel il était toujours sous traitement médical mais néanmoins autorisé à quitter la Suisse du 5 juillet au 20 août 2000. L'assuré a encore confirmé par téléphone son intention de partir à l'étranger à un inspecteur de la caisse qui s'était rendu le jour même à son domicile pour un contrôle alors qu'il était absent (cf. rapport de visite établi le 5 juillet 2000).
Par lettre du 6 juillet 2000, la CMBB a informé l'assuré qu'elle ne lui verserait pas de prestations pour la période correspondant à son séjour à l'étranger, dès lors qu'il avait quitté la Suisse sans l'en avoir avisé préalablement comme l'exigent ses conditions générales. La caisse a confirmé sa position dans une décision formelle prononcée le 31 août 2000. Saisie d'une opposition, elle l'a écartée par une nouvelle décision le 24 novembre 2000.
B.- L'assuré a recouru contre cette décision sur opposition devant le Tribunal cantonal valaisan des assurances, en faisant valoir qu'il avait présenté une demande d'autorisation de se rendre à l'étranger en bonne et due forme, et que l'employée au guichet de la CMBB lui aurait laissé entendre que tout "était en ordre".
Par jugement du 13 avril 2001, le tribunal a rejeté son recours.
C.- F._ interjette recours de droit administratif contre ce jugement, dont il requiert l'annulation.
Il conclut, sous suite de frais et dépens, à ce que la CMBB soit condamnée à lui verser les indemnités journalières dues durant toute la période de son séjour à l'étranger.
La CMBB conclut au rejet du recours. De son côté, l'Office fédéral des assurances sociales a renoncé à se déterminer.
D.- Le 6 juin 2002, la IIe Chambre du Tribunal fédéral des assurances a tenu audience.
Considérant en droit :
1.- a) Comme l'ont rappelé à juste titre les premiers juges, le système de l'assurance-maladie sociale repose sur le principe de la territorialité. Ce principe, qui régissait déjà l'étendue des prestations sous l'empire de la LAMA, vaut également en ce qui concerne la LAMal, notamment l'assurance facultative d'indemnités journalières selon les art. 67 et ss (RAMA 2001 no KV 168 p. 259 consid. 2c et la référence; Eugster, Zum Leistungsrecht der Taggeldversicherung nach KVG, in LAMal-KVG Recueil de travaux en l'honneur de la Société suisse de droit des assurances, Lausanne 1997, p. 561). Il en découle qu'à défaut de prescriptions contraires des statuts ou des conditions d'assurance, un assuré ne peut prétendre le versement de l'indemnité journalière par sa caisse-maladie lorsqu'il quitte le territoire suisse (RAMA 2000 no KV 101 p. 13 consid. 2).
b) En l'espèce, les conditions particulières de l'assurance collective d'une indemnité journalière de la CMBB (ci-après : les conditions d'assurance), dans leur version en vigueur en avril 2000, se réfèrent expressément à ce principe, tout en prévoyant la possibilité d'une dérogation (cf. art. 10 prestations à l'étranger). Ainsi, selon le ch. 2 de cet article, avec l'autorisation préalable de la caisse, l'indemnité peut, dans des cas particuliers, être allouée à titre volontaire pendant un séjour limité (3 semaines maximum) hors de la Suisse. Une demande préalable accompagnée d'une autorisation du médecin traitant doit être adressée à la caisse avant le départ à l'étranger. En cas de prolongation de la durée de séjour fixée par la caisse, celle-ci se réserve le droit de refuser ou d'accepter en partie le paiement de l'indemnité journalière.
2.- En instance fédérale, le recourant ne fait plus valoir que l'employée au guichet de la CMBB - à laquelle il avait remis, le 4 juillet 2000, le certificat médical du docteur M._ - aurait implicitement donné son accord au séjour à l'étranger qu'il envisageait de faire du 5 juillet au 20 août 2000. Il soutient en revanche que la CMBB a fait preuve de mauvaise foi en l'avisant le 6 juillet suivant seulement, de son refus de lui verser les indemnités journalières pour toute la durée de son séjour à l'étranger. A ses yeux, la caisse aurait dû réagir immédiatement à réception de sa requête; or, ni l'employée de la caisse, ni l'inspecteur W._ avec lequel il avait pourtant eu, le même jour, une conversation téléphonique au sujet de son départ à l'étranger, ne l'avaient informé du fait qu'une autorisation de la CMBB lui serait refusée.
3.- Rien au dossier ne permet de retenir que le recourant n'avait pas connaissance des conditions d'assurance de la CMBB; il ne le prétend du reste pas. Il était donc censé savoir qu'il perdrait tout droit aux prestations en cas de séjour à l'étranger, à moins d'être mis au bénéfice d'une dérogation statutaire de l'intimée.
En ne déposant le certificat de son médecin traitant au guichet de la CMBB qu'à la veille de quitter la Suisse, F._ a assurément pris le risque de se voir refuser le maintien de son droit à l'indemnité journalière pendant son séjour à l'étranger. Certes, l'art. 10 ch. 2 des conditions générales ne subordonne le dépôt de la demande préalable à aucun délai particulier si ce n'est qu'il exige que ce dépôt intervienne "avant le départ à l'étranger" de l'intéressé - condition à laquelle le recourant a satisfait.
Comme l'ont pertinemment relevé les premiers juges, cette disposition exige toutefois non seulement la présentation d'une demande préalable de la part de l'assuré mais encore l'octroi d'une autorisation préalable de la caisse.
Il s'agit avant tout pour cette dernière de pouvoir vérifier - avant le départ à l'étranger de l'assuré - si les circonstances du cas peuvent justifier la continuation du versement des indemnités journalières malgré les difficultés liées à l'éloignement de la personne concernée du territoire suisse (surveillance de l'incapacité de travail). A cet égard, le recourant ne pouvait raisonnablement s'attendre à ce qu'une réponse lui fût fournie immédiatement, ne serait-ce que pour laisser le temps à l'intimée d'examiner la requête dont elle était saisie et, le cas échéant, de procéder aux vérifications qu'elle jugeait nécessaires à sa prise de décision. Aucun reproche ne peut dès lors être fait à cette dernière pour ne s'être prononcé sur le cas que deux jours après la réception du certificat du docteur M._. Au contraire, la CMBB a réagi diligemment. Par ailleurs, du moment que le recourant n'a pas obtenu l'autorisation préalable de l'intimée avant de quitter la Suisse - étape de la procédure qu'il a rendu impossible par son départ très rapide à l'étranger -, celle-ci était fondée, en application de l'art. 10 ch. 2 de ses conditions générales, à lui opposer un refus des prestations jusqu'à son retour en Suisse.
Le recours est ainsi mal fondé.
Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est rejeté.
II. Il n'est perçu pas de frais de justice.
III. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal valaisan des assurances et à l'Office fédéral des assurances sociales.
Lucerne, le 24 juillet 2002
Au nom du
Tribunal fédéral des assurances
p. le Président de la IIe Chambre :
La Greffière :