Faits:
A. A.a Le jeudi 5 juillet 2007, à 9h00, Y._ et Z._ ont sonné à la porte de la villa Marguerite, à La Chaux-de-Fond. Ce bâtiment abrite le Musée de la Manufacture horlogère Girard-Perregaux. L'employée de maison, seule présente, a ouvert la porte et les hommes se sont précipités sur elle pour la bâillonner et la ligoter. Ensuite, l'un des agresseurs est resté dans le hall d'entrée, à proximité d'elle, tandis que le second faisait le tour des salles d'exposition, fracturait les vitrines et s'emparait de toutes les montres historiques exposées. Après avoir enfermé l'employée dans les toilettes, les hommes ont quitté les lieux dans lesquels ils étaient restés 22 minutes. X._ les attendait à l'extérieur, au volant d'une automobile dans laquelle ils ont pris la fuite. La victime a rapidement pu se libérer et donner l'alarme.
Après diverses péripéties, Y._, qui s'était fait remarquer le jour-même par la police à Valdahon (Doubs/France) en brûlant un feu rouge alors qu'il téléphonait à bord d'une BMW X5 immatriculée en Allemagne, est parvenu à l'aéroport de Roissy. Il s'est envolé pour une destination inconnue. X._ et Z._ ont été interpellés à Fallerans, à quelques kilomètres de Valdahon, ensuite d'une faute de circulation, à bord d'une Mercedes 500 SL immatriculée en Allemagne, que le premier conduisait.
A.b Par jugement du 13 janvier 2009, la Cour d'assises du canton de Neuchâtel a condamné X._ à 4 ans de privation de liberté dont à déduire 559 jours de détention avant jugement, pour brigandage aggravé, dommages à la propriété et vol d'usage. Z._, qui s'est évadé dans l'intervalle, a été jugé simultanément par défaut.
A.c En résumé, la cour a jugé que les informations recueillies lors des reconnaissances préalables, l'utilisation de plusieurs véhicules pour diminuer les risques liés à une poursuite immédiate, le recours à des déguisements et l'absence de toute surprise apparente dans le comportement de Z._ démontraient que le plan conçu et exécuté comprenait la neutralisation, par la force, de la personne qu'on savait présente dans le musée. Toutes ces circonstances entraînaient la qualification de brigandage aggravé. X._, qui en avait connaissance, s'était associé à la phase de préparation du délit en reconnaissant les lieux la veille, puis à sa mise en oeuvre, en restant en permanence avec les autres auteurs durant au moins deux jours et en tenant sur les lieux, outre le rôle de chauffeur, celui de guetteur. Il avait, enfin, disposé du butin en le dissimulant. Il avait, ce faisant, adhéré de manière suffisamment intense et durable à la commission du délit pour apparaître comme l'un des participants principaux.
Il répondait, par ailleurs, des dommages à la propriété en tant que co-auteur de ceux occasionnés aux vitrines et parquets du musée, nécessairement impliqués par le mode de soustraction retenu. Il ne répondait, en revanche, pas des dommages causés lors du vol d'un véhicule tout-terrain Porsche à Zurich, également utilisé lors du brigandage, mais bien du vol d'usage de cette automobile, qu'il avait conduite en ayant nécessairement connaissance de sa soustraction.
B. Saisie d'un pourvoi en cassation du condamné, la Cour de cassation pénale du Tribunal cantonal neuchâtelois l'a rejeté, par arrêt du 27 juillet 2009.
C. X._ forme un recours en matière pénale contre cet arrêt. Il conclut principalement à sa réforme en ce sens que sa peine soit réduite à 18 mois au maximum sous déduction de la détention avant jugement et, à titre subsidiaire, à ce que la décision entreprise soit annulée et la cause renvoyée à l'autorité cantonale afin qu'elle rende une nouvelle décision au sens des considérants. Il requiert, par ailleurs, le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit:
1. Le recourant conteste avoir eu connaissance et conscience des circonstances dans lesquelles le délit allait être commis par ses deux comparses. Il discute notamment la conclusion des autorités cantonales selon laquelle il avait eu connaissance du projet avant le 4 juillet 2007 ainsi que la durée du repérage qui a eu lieu ce jour-là. Le recourant reproche aux autorités cantonales d'avoir établi ces faits de manière manifestement inexacte, respectivement en violation du droit. Il invoque principalement la garantie constitutionnelle contre l'arbitraire (art. 9 Cst.).
On peut renvoyer, sur la notion d'arbitraire, aux principes maintes fois exposés par le Tribunal fédéral (v. p. ex.: <ref-ruling> consid. 1.3 et les références p. 4 et 5; <ref-ruling> consid. 5.4 et les arrêts cités p. 148). Comme devant l'autorité précédente, l'argumentation du recourant procède, pour une part importante, d'une discussion des faits établis par la Cour d'assises, auxquels il oppose son appréciation personnelle de divers indices et éléments de preuve, ses propres déclarations en particulier. La cour cantonale a reconnu, à juste titre, le caractère largement appellatoire de cette démarche. On se limitera dès lors, dans la suite, à l'examen des moyens qui n'apparaissent pas d'emblée irrecevables pour ce motif (cf. <ref-ruling> consid. 6 p. 397), en se référant, par souci de concision, aux constatations de fait telles qu'elles ressortent du jugement de première instance, dont l'autorité cantonale de deuxième instance ne s'est pas écartée.
1.1 Dans son jugement du 13 janvier 2009, la Cour d'assises s'est attachée à démontrer avec soin, sur la base des indices et éléments de preuve recueillis, en quoi la version des faits du recourant n'était pas crédible. Elle a ainsi, tout d'abord, déduit de données téléphoniques, respectivement du contenu de la carte SIM de l'un des téléphones portables du recourant, et de l'audition du dénommé C._, que le recourant connaissait son comparse Y._ avant une prétendue rencontre à Besançon. Elle a, ensuite, déduit des relations du recourant avec Z._, qu'il était impensable que ce dernier ne lui ait pas fait part de son projet délictueux en quittant Belgrade. De même, les données téléphoniques, qui confirmaient des contacts avec Y._ dès le 3 juillet 2007, excluaient-elles l'explication d'un service proposé lors d'une rencontre à laquelle le recourant aurait assisté par hasard (jugement de première instance, consid. 6.B, p. 17).
Quoi qu'en dise le recourant ce raisonnement ne procède ni de l'arbitraire ni du procès d'intention. Le recourant discute, par ailleurs, en vain dans ce contexte la durée de ses relations d'amitié avec Z._. En effet, si la Cour d'assises a laissé entendre, dans la partie en fait de son jugement, que les deux amis se connaissaient depuis plusieurs dizaines d'années (jugement, consid. 4 p. 9), elle s'est fondée, pour tirer les conclusions qui précèdent, sur les déclarations du recourant selon lesquelles il connaissait Z._ « comme un ami depuis dix ans ». Enfin, il n'était ni absurde ni insoutenable de conclure de la durée de ces relations, et des autres indices mentionnés, qu'il était impensable que le recourant n'ait, au moins dès le départ de Belgrade, pas eu connaissance de l'intention de son comparse.
1.2 Selon l'autorité de première instance, l'emplacement choisi pour parquer le véhicule Mercedes en France avant le brigandage et le moment auquel les intéressés étaient passés le récupérer ne pouvaient, ensuite, s'expliquer par l'intérêt touristique ou des contraintes légales, respectivement des impératifs liés au contrat de location de ce véhicule immatriculé en Allemagne. Ces circonstances reflétaient au contraire l'idée de dissimuler la voiture et faisaient partie d'un plan élaboré afin de brouiller les pistes. L'idée du plan était en outre renforcée par le fait que les trois hommes s'étaient rendus en observation à proximité de la villa Marguerite le 4 juillet 2007. Cette reconnaissance était très certainement destinée au recourant puisque les deux autres participants connaissaient déjà les lieux (jugement, consid. 6.B, p. 18).
Le recourant objecte que la Cour d'assises aurait arbitrairement retenu que ce repérage aurait duré 10 minutes.
Il est vrai que le jugement de première instance indique « Lorsqu'on demande à X._ à quoi lui servait le fait de voir la maison pendant 10 minutes, la veille, comme il l'admet, il répond qu'il l'ignore et que Y._ montrait la maison à Z._, surtout » (jugement, consid. 4, p. 11). Il n'apparaît cependant pas que la Cour d'assises, qui a plutôt souligné le but de cette reconnaissance, ait ensuite tiré une quelconque conclusion de sa durée. Or, si le rôle du recourant consistait à conduire le véhicule ainsi qu'à faire le guet durant le brigandage et si la reconnaissance lui était principalement destinée, une brève visite des abords de la villa était largement suffisante pour remplir sa fonction de chauffeur et de guet. Il s'ensuit que le recourant ne démontre pas en quoi sa discussion sur la durée de cette démarche préparatoire serait de nature à influencer l'issue du litige. Le grief est infondé.
1.3 Toujours selon la Cour d'assises, il était, enfin, totalement invraisemblable que le recourant n'ait pas aperçu les déguisements de ses comparses avant le passage à l'acte, Y._ et Z._ ne s'étant pas déguisés devant la villa mais dans l'un des véhicules. Du reste, des fibres noires retrouvées dans la BMW étaient vraisemblablement liées à la perruque portée par Y._ et le profil ADN du recourant y avait été décelé. Le recourant avait, enfin, dissimulé le butin non loin d'un point de repère facilement identifiable (jugement, consid. 6.B, p. 19).
1.3.1 Le recourant objecte que l'on ne saurait déduire du seul fait que Y._ et Z._ auraient prévu une présence humaine dans le musée que lui-même en avait conscience et l'aurait acceptée.
Cette argumentation est vaine. Les autorités cantonales ont en effet clairement exposé en quoi les indices recueillis, notamment les fibres retrouvées dans la voiture qu'il conduisait, confortaient l'hypothèse selon laquelle le recourant avait connaissance avant le cambriolage des déguisements dont l'endossement était trop risqué devant la villa, et pourquoi le choix des costumes (celui d'un livreur DHL notamment) était destiné à tromper l'employée de maison et non seulement à déjouer la surveillance vidéo (jugement, consid. 6.A, p. 15). La Cour d'assises pouvait en déduire sans arbitraire que le recourant n'ignorait pas que le vol impliquerait de maîtriser une personne dans le musée. Le grief est infondé.
1.3.2 Le recourant objecte de même, en vain, qu'il se serait débarrassé du butin et qu'il ne l'aurait pas dissimulé. Il soutient, à ce propos, que la constatation de fait selon laquelle il aurait caché les montres à proximité d'une statue de la Vierge, soit près d'un point de repère très sûr (jugement de première instance, p. 17), qui repose exclusivement sur une photo de presse, serait arbitraire.
Il ressort des pièces du dossier que le 7 juillet 2009, la police a, dans un premier temps, découvert des habits dissimulés dans une haie en bordure de route. Ces habits avaient visiblement été jetés à cet endroit dans l'urgence. Puis, dans la continuité de ces recherches, à environ 50 mètres du lieu de la découverte des habits, l'attention des policiers avait été attirée par un sac déposé dans un bosquet composé d'une haie naturelle très dense, au pied d'un petit chêne. Le sac, fermé, était déposé verticalement (rapport établi par la Police cantonale neuchâteloise le 16 juillet 2007, p. 5 et 6). Le fait que le sac contenant 97 montres n'ait pas simplement été évacué dans l'urgence avec les habits, mais déposé plus loin, verticalement, dans un bosquet au pied d'un petit chêne permet de conclure qu'il n'a pas été jeté pour s'en débarrasser, mais disposé avec un certain soin (position verticale) en un endroit repérable en raison de la configuration des lieux (présence d'un petit chêne à proximité de la route). Aussi, indépendamment de la présence ou non d'une statue sur le site, le recourant ne démontre-t-il pas en quoi il était arbitraire de retenir qu'il avait dissimulé le butin. Le grief est infondé.
2. Le recourant reproche ensuite à la cour cantonale d'avoir violé le droit fédéral en le jugeant coupable, en qualité de coauteur, d'un brigandage aggravé.
2.1 L'<ref-law> réprime le comportement de celui qui aura commis un vol en usant de violence à l'égard d'une personne, en la menaçant d'un danger imminent pour la vie ou l'intégrité corporelle ou en la mettant hors d'état de résister. Conformément au ch. 3 de cette même disposition, le brigandage sera puni d'une peine privative de liberté de deux ans au moins, si son auteur l'a commis en qualité d'affilié à une bande formée pour commettre des brigandages ou des vols, ou si de toute autre manière la façon d'agir dénote qu'il est particulièrement dangereux.
Parmi les circonstances qui peuvent dénoter que l'auteur est particulièrement dangereux, la jurisprudence, en relevant que cette disposition doit être appliquée avec une certaine retenue en raison de l'importante aggravation de la peine qu'elle entraîne, cite notamment une exécution froide, une préparation professionnelle et la brutalité dans l'action. Elle souligne également, à ce propos, que l'importance du butin envisagé, celle de la planification et de la préparation technique ainsi que les obstacles moraux et techniques à surmonter constituent des critères pertinents (<ref-ruling> consid. 2e p. 317) comme, par ailleurs, le fait de menacer la victime avec une arme (<ref-ruling> consid. 1c p. 117).
2.2 Le recourant soutient, dans un premier moyen, que sa condamnation pour brigandage violerait le droit fédéral dès lors que la prévention de lésions corporelles n'a pas été retenue.
Le recourant méconnaît, ce faisant, que le brigandage peut également être réalisé, indépendamment de toute lésion corporelle, par l'usage d'un mode de contrainte, soit notamment en mettant une personne hors d'état de résister. Le recours à une telle méthode est clairement établi en l'espèce, l'employée de maison ayant été bâillonnée et ligotée (v. supra consid. A.a). Par ailleurs, les autorités cantonales ont constaté sans arbitraire que le recourant savait d'emblée que quelqu'un se trouverait dans le musée, les déguisements étant aussi destinés à tromper cette personne (cf. supra consid. 1.3.1). Dans ces conditions, le recourant ne peut pas sérieusement soutenir qu'il n'a pas accepté que la victime soit maîtrisée d'une manière ou d'une autre, ce qui suffit au plan subjectif. Le grief est infondé.
2.3 Le recourant conteste ensuite le caractère aggravé du brigandage.
Le butin escompté était constitué d'objets manufacturés anciens de haute horlogerie. La valeur du butin emporté (plus de cent montres de collection) s'élève à plus de 2,2 millions de francs (jugement, consid. 6.C, p. 20). Le recourant ne pouvait en ignorer l'ordre de grandeur, ne serait-ce qu'en raison de la seule exposition des objets dans un musée et de la notoriété internationale de la marque Girard-Perregaux. Le caractère éminemment professionnel de l'organisation mise en place ressort, par ailleurs, suffisamment des dispositions techniques prises par les intéressés (reconnaissances préalables, utilisation de plusieurs véhicules immatriculés dans différents pays, dont un volé ainsi qu'un autre loué et préalablement stationné à la frontière française, recours à des déguisements réalistes permettant aussi de déjouer la surveillance vidéo, absence de surprise dans le déroulement du vol, rapidité d'exécution permettant de soustraire plus de cent montres en quelque 20 minutes, etc.). Compte tenu, enfin, de l'usage de la force selon un plan comprenant la neutralisation de la personne présente dans le musée, on ne saurait faire grief aux autorités cantonales d'avoir retenu que les conditions de l'<ref-law> étaient réalisées.
2.4 Le recourant soutient ensuite que son rôle se serait limité à une simple complicité (<ref-law>) et qu'il ne pourrait être condamné comme coauteur.
2.4.1 Par opposition au complice, qui prête intentionnellement assistance à l'auteur pour commettre un crime ou un délit par une participation accessoire (<ref-law>), le coauteur est celui qui collabore intentionnellement et de manière déterminante avec d'autres personnes dans la décision de commettre une infraction, dans son organisation ou son exécution, au point d'apparaître comme l'un des participants principaux. La coactivité suppose une décision commune, mais qui n'est pas nécessairement expresse. Le contenu de la volonté doit permettre de distinguer le coauteur du participant accessoire: il faut que l'auteur s'associe à la décision dont est issu le délit (mais sans accomplir nécessairement des actes d'exécution) ou à la réalisation de ce dernier, dans des conditions ou dans une mesure qui le font apparaître comme un participant non pas secondaire, mais principal. La seule volonté ne suffit cependant pas pour admettre la coactivité, il faut encore que le coauteur participe effectivement à la prise de la décision, à l'organisation ou à la réalisation de l'infraction. La jurisprudence la plus récente, se référant à la doctrine, exige même que le coauteur ait une certaine maîtrise des opérations et que son rôle soit plus ou moins indispensable (<ref-ruling> consid. 2d p. 23).
2.4.2 La Cour d'assises a conclu à la coactivité en relevant que le recourant s'était associé à la phase de préparation du délit (reconnaissance sur place la veille), puis à sa mise en oeuvre, en restant en permanence avec les autres auteurs durant au moins deux jours et en tenant sur les lieux, outre le rôle de chauffeur, celui de guetteur. Il avait, enfin, déposé le butin en le dissimulant, ce qui aurait pu permettre aux malfaiteurs de le retrouver s'ils avaient échappé à la police (jugement de première instance, consid. 7.B.b, p. 23).
Le recourant se borne à objecter qu'il n'a pris ni décision ni initiative quant à l'organisation et à la mise en oeuvre du délit, qui se serait déroulé de la même manière sans lui. Il s'écarte, ce faisant, de manière inadmissible de l'état de fait arrêté souverainement par les autorités cantonales (<ref-law>). Le grief est, dans cette mesure, irrecevable. Pour le surplus, le raisonnement des autorités cantonales, qui souligne le double rôle du recourant au moment des faits et le caractère indispensable tant du guet que du chauffeur, ainsi que la participation du recourant aux phases préliminaires de l'opération ne prête pas le flanc à la critique.
3. Le recourant conteste enfin sa condamnation pour dommages à la propriété (<ref-law>).
La Cour d'assises a retenu que le mode de soustraction retenu impliquait nécessairement des dommages aux vitrines et parquets du musée et que le recourant en répondait en tant que coauteur (jugement de première instance, consid. 7.B.c, p. 24).
Le recourant se borne à objecter qu'il ne serait pas établi qu'il aurait connu à l'avance la manière dont ses comparses entendaient procéder. On peut renvoyer, sur ce point, à ce qui a été exposé ci-dessus (consid. 1.1). Il s'ensuit que le recourant s'écarte de manière inadmissible de l'état de fait établi par les autorités cantonales (<ref-law>). Le grief est irrecevable dans cette mesure. Pour le surplus, le raisonnement de la cour cantonale, fondé sur le degré de participation du recourant au brigandage n'est pas critiquable.
4. Le recours, largement appellatoire, était d'emblée dénué de chances de succès. L'assistance judiciaire doit être refusée (<ref-law>). Le recourant, qui succombe, supporte les frais de la procédure fédérale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. L'assistance judiciaire est refusée.
3. Les frais judiciaires, arrêtés à 1600 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 6 novembre 2009
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Le Greffier:
Favre Vallat