Faits:
A. Les époux X._ ont deux enfants: A._, née le 12 avril 2003, et B._, né le 9 avril 2006.
La garde des enfants du couple, en procédure de divorce, est litigieuse.
B. B.a Le 2 mai 2006, l'épouse a déposé une requête de mesures protectrices de l'union conjugale devant le Tribunal civil du district de La Chaux-de-Fonds.
A l'issue d'une audience tenue le 27 septembre 2006, les parties se sont entendues sur l'attribution de la garde des deux enfants à leur mère, le droit de visite du père devant être organisé en fonction de ses fréquents voyages à l'étranger. Malgré cet accord, A._ est restée chez son père à compter du mois d'octobre 2006.
Le 21 novembre 2006, toujours dans le cadre de mesures protectrices de l'union conjugale, le père des enfants a demandé que la garde de ceux-ci lui soit attribuée. Par ordonnance de mesures protectrices de l'union conjugale du 31 janvier 2007, la garde de A._ a été provisoirement attribuée à son père, celle de B._ à sa mère. Le 4 janvier 2008, statuant sur nouvelle requête de l'épouse déposée le 27 septembre 2007, le Tribunal a confirmé la séparation de la fratrie entre chacun des parents. Cette dernière décision se fondait sur un rapport de l'Office cantonal des mineurs, daté du 7 décembre 2007.
B.b Le 2 juillet 2008, dame X._ a saisi le Tribunal matrimonial du district de Neuchâtel d'une requête unilatérale de divorce, concluant notamment à ce que la garde des deux enfants lui soit attribuée. Le même jour, elle a déposé une requête de mesures provisoires, prenant la même conclusion.
X._ a conclu au rejet de la requête de mesures provisoires et à ce que la garde des enfants lui soit attribuée. Sur le fond, il a conclu au rejet de la demande et, reconventionnellement, au prononcé du divorce ainsi qu'à l'obtention de la garde et de l'autorité parentale sur les enfants. Il a également saisi une nouvelle fois le juge d'une requête de mesures provisoires urgentes, visant à obtenir une réglementation plus précise du droit de visite des parents.
Par ordonnance de mesures provisoires du 23 novembre 2009, statuant sur les diverses requêtes des parents, le président du Tribunal matrimonial du district de Neuchâtel a attribué la garde des enfants à la mère pour toute la durée de l'instance et fixé en conséquence le droit de visite du père. Ce dernier a recouru contre cette décision devant la Cour de cassation civile, laquelle a rejeté son recours.
C. Par acte du 9 mars 2010, X._ exerce un recours en matière civile devant le Tribunal fédéral. Le recourant conclut préalablement à l'octroi de l'effet suspensif et, principalement, à l'annulation de la décision attaquée, à ce que la garde de sa fille A._ soit maintenue en sa faveur et à ce que le droit de visite de chaque parent soit fixé à quinzaine; subsidiairement, il demande le renvoi du dossier au premier juge. A l'appui de ses conclusions, le recourant invoque l'application arbitraire des art. 176 al. 3, 179 et 137 CC.
Le recourant demande également à être mis au bénéfice de l'assistance judiciaire.
D. Par ordonnance présidentielle du 26 mars 2010, la requête d'effet suspensif du recourant a été admise.

Considérant en droit:
1. La décision de mesures provisoires (art. 137 CC) est une décision en matière civile au sens de l'art. 72 al. 1 LTF. Bien que rendue alors qu'une procédure (principale) de divorce est pendante (art. 137 al. 1 CC), il s'agit d'une décision finale au sens de l'art. 90 LTF, dès lors que son objet est différent de celui de la procédure au fond et qu'il met fin à l'instance sous l'angle procédural (<ref-ruling> consid. 2.2). Le recours a en outre été interjeté dans le délai prévu par la loi (art. 100 al. 1 LTF), contre une décision rendue en dernière instance cantonale par le tribunal supérieur du canton de Neuchâtel (art. 75 LTF), dans une affaire non pécuniaire. Il est donc en principe recevable.
2. 2.1 Comme l'acte attaqué porte sur des mesures provisionnelles (<ref-ruling> consid. 5, 585 consid. 3.3 et la jurisprudence citée), seule peut être invoquée la violation de droits constitutionnels (art. 98 LTF).
2.2 Le Tribunal fédéral ne connaît de la violation des droits constitutionnels que si un tel moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 3.2 et les arrêts cités). Le recourant qui se plaint d'arbitraire ne saurait, dès lors, se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité précédente, mais il doit démontrer, par une argumentation précise, que cette décision se fonde sur une application de la loi ou une appréciation des preuves insoutenables (<ref-ruling> consid. 3.2 p. 400); les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 2 p. 591/592 et les arrêts cités).
3. 3.1 La cour cantonale a avant tout constaté que la séparation de la fratrie résultait d'une situation de fait aux origines incertaines, entérinée à titre provisoire par l'ordonnance de mesures protectrices de l'union conjugale du 31 janvier 2007. Cette solution n'étant toutefois justifiée de manière objective par aucune circonstance particulière, les juges cantonaux en ont conclu qu'ils ne distinguaient pas les raisons pour lesquelles il convenait de poursuivre cette voie. Celle-ci avait en effet montré ses limites et présentait manifestement plus d'inconvénients que d'avantages pour les enfants, notamment quant à l'exercice du droit de visite - qui s'était révélé difficile à l'excès - et au risque que chaque enfant soit en définitive élevé séparément, comme s'il était un enfant unique et n'avait qu'un seul parent. La réunion de la fratrie impliquait certes une modification de la situation de l'un des enfants, compromettant ainsi l'exigence de stabilité du cadre dans lequel il évoluait. Les conséquences de cet inévitable inconvénient ne devaient cependant pas être exagérées, ou, du moins, ne suffisaient pas à faire obstacle au regroupement des enfants.
3.2 En substance, le recourant affirme qu'en s'opposant à la séparation de la fratrie et en attribuant la garde des enfants à leur mère, la cour cantonale n'aurait pas examiné l'ensemble des critères posés par les art. 137 et 176 al. 3 CC pour l'attribution de la garde des enfants et aurait dès lors appliqué ces dispositions de manière arbitraire.
En affirmant que la séparation de la fratrie n'était justifiée par aucune circonstance particulière, le Tribunal cantonal se serait d'abord fondé sur une prémisse erronée et contraire aux faits ainsi qu'aux preuves pourtant clairement établis par le dossier. La lecture du rapport effectué par l'Office des mineurs le 7 décembre 2007 démontrerait en effet que les enfants, bien que séparés, étaient heureux et épanouis, qu'ils avaient trouvé un équilibre auprès de leur parent gardien, tout en conservant des liens ténus (sic) avec l'autre parent et avec leur frère, respectivement leur soeur, et qu'une séparation signifierait un nouveau chamboulement dans la vie de chaque enfant ainsi qu'une souffrance importante liée à la séparation du parent gardien. S'agissant plus particulièrement de l'exercice du droit de visite, le recourant soutient ensuite que, jusqu'en janvier 2009, aucun problème n'aurait été relevé, fait que les juges cantonaux auraient pourtant ignoré. Les difficultés qui avaient surgi par la suite étaient principalement dues à une réorganisation au sein de l'Office des mineurs, période au cours de laquelle celui-ci n'était en conséquence plus en mesure de contrôler l'exercice du droit de visite. Le recourant prétend alors qu'il se serait efforcé de trouver des solutions alternatives, mais que ses démarches se seraient soldées par des fins de non-recevoir de son épouse et de son mandataire. En méconnaissant ces circonstances, puis en se limitant à observer que le droit de visite était un échec et montrait par là les limites de la séparation de la fratrie, l'instance cantonale aurait par ailleurs non seulement appliqué de manière arbitraire les art. 137 et 176 al. 3 CC, mais également l'art. 179 CC. Le recourant tient enfin les mêmes conclusions concernant les conséquences négatives du regroupement des enfants sur la stabilité de leur cadre de vie. Il affirme ainsi qu'en se fondant sur une appréciation faite de l'expérience de la vie, selon laquelle les jeunes enfants s'adaptent facilement, la motivation cantonale ne tiendrait absolument pas compte des rapports établis par l'Office des mineurs les 7 décembre 2007 et 28 juillet 2009, ni des déclarations de sa fille A._.
En affirmant que la séparation de la fratrie n'était justifiée par aucune circonstance particulière, le Tribunal cantonal se serait d'abord fondé sur une prémisse erronée et contraire aux faits ainsi qu'aux preuves pourtant clairement établis par le dossier. La lecture du rapport effectué par l'Office des mineurs le 7 décembre 2007 démontrerait en effet que les enfants, bien que séparés, étaient heureux et épanouis, qu'ils avaient trouvé un équilibre auprès de leur parent gardien, tout en conservant des liens ténus (sic) avec l'autre parent et avec leur frère, respectivement leur soeur, et qu'une séparation signifierait un nouveau chamboulement dans la vie de chaque enfant ainsi qu'une souffrance importante liée à la séparation du parent gardien. S'agissant plus particulièrement de l'exercice du droit de visite, le recourant soutient ensuite que, jusqu'en janvier 2009, aucun problème n'aurait été relevé, fait que les juges cantonaux auraient pourtant ignoré. Les difficultés qui avaient surgi par la suite étaient principalement dues à une réorganisation au sein de l'Office des mineurs, période au cours de laquelle celui-ci n'était en conséquence plus en mesure de contrôler l'exercice du droit de visite. Le recourant prétend alors qu'il se serait efforcé de trouver des solutions alternatives, mais que ses démarches se seraient soldées par des fins de non-recevoir de son épouse et de son mandataire. En méconnaissant ces circonstances, puis en se limitant à observer que le droit de visite était un échec et montrait par là les limites de la séparation de la fratrie, l'instance cantonale aurait par ailleurs non seulement appliqué de manière arbitraire les art. 137 et 176 al. 3 CC, mais également l'art. 179 CC. Le recourant tient enfin les mêmes conclusions concernant les conséquences négatives du regroupement des enfants sur la stabilité de leur cadre de vie. Il affirme ainsi qu'en se fondant sur une appréciation faite de l'expérience de la vie, selon laquelle les jeunes enfants s'adaptent facilement, la motivation cantonale ne tiendrait absolument pas compte des rapports établis par l'Office des mineurs les 7 décembre 2007 et 28 juillet 2009, ni des déclarations de sa fille A._.
3.3 3.3.1 Lors de l'introduction d'une action en divorce, les mesures protectrices de l'union conjugale ordonnées antérieurement demeurent en force tant qu'elles ne sont pas modifiées par le juge du divorce sur mesures provisoires (art. 137 CC) requises par les parties. Si des faits nouveaux justifient une modification de la réglementation antérieure, le juge du divorce est alors compétent pour modifier ou révoquer les mesures ordonnées. Il faut cependant que, depuis l'entrée en force des mesures protectrices, les circonstances de fait aient changé d'une manière essentielle et durable ou que le juge ait ignoré des éléments essentiels ou ait mal apprécié les circonstances (<ref-ruling> consid. 2 p. 61; arrêts 5A_667/2007 du 7 octobre 2008 consid. 3.3; 5P.203/2004 du 21 octobre 2004 consid. 2; 5P.390/2005 du 3 février 2006 consid. 1.4; URS GLOOR, in Basler Kommentar, 3e éd., 2006, n. 4 ad art. 137 CC).
Selon l'art. 137 al. 2 CC, les dispositions régissant la protection de l'union conjugale sont applicables par analogie. En vertu de l'art. 176 al. 3 CC, relatif à l'organisation de la vie séparée, lorsque les époux ont des enfants mineurs, le juge ordonne les mesures nécessaires d'après les dispositions sur les effets de la filiation (cf. art. 273 ss CC); ainsi, il peut attribuer la garde des enfants - et exceptionnellement l'autorité parentale - à un seul des parents (ROLF VETTERLI, in FammKomm Scheidung, n. 1 ad art. 176 CC; IVO SCHWANDER, in Balser Kommentar, 3e éd., 2006, n. 12 ad art.176 CC). Les principes posés par la jurisprudence et la doctrine en matière de divorce sont applicables par analogie (VERENA BRÄM, in Zürcher Kommentar, 3e éd., 1998, n. 89 et 101 ad art. 176 CC). La règle fondamentale en ce domaine est l'intérêt de l'enfant, celui des parents étant relégué à l'arrière-plan. Au nombre des critères essentiels entrent en ligne de compte les relations entre parents et enfant, les capacités éducatives respectives des parents, leur aptitude à prendre soin de l'enfant, à s'en occuper personnellement ainsi qu'à favoriser les contacts avec l'autre parent; il faut choisir la solution qui, au regard des données de l'espèce, est la mieux à même d'assurer à l'enfant la stabilité des relations nécessaires à un développement harmonieux des points de vue affectif, psychique, moral et intellectuel; ce dernier critère revêt un poids particulier lorsque les capacités d'éducation et de soins sont similaires (<ref-ruling> consid. 3 p. 354/355; <ref-ruling> consid. 4a p. 209 et 317 consid. 2 p. 219; <ref-ruling> consid. 5 p. 203/204). Lorsqu'il y a plusieurs enfants, le juge évite de les séparer, ce afin d'éviter de compromettre, sans raisons impérieuses, les liens d'affection qui les unissent ainsi que les bénéfices de l'éducation qu'ils ont reçue en commun (<ref-ruling> consid. 2).
3.3.2 Pour fonder l'arbitraire de la décision cantonale, le recourant se réfère essentiellement au rapport rendu en date du 7 décembre 2007 par l'Office cantonal des mineurs, lequel préconisait le maintien de la situation d'alors, à savoir la séparation de la fratrie. Ce rapport n'a pas été ignoré par la cour cantonale. Celle-ci a cependant relevé qu'aucune circonstance particulière ne justifiait, objectivement, pareille solution: aucune mésentente manifeste et insurmontable des enfants entre eux ou de l'un à l'égard de l'un de ses parents n'était avérée; aucun des deux enfants ne se trouvait dans une situation personnelle telle qu'elle nécessitait l'attribution de sa garde à l'un des parents à l'exclusion de l'autre; de surcroît, les enfants étaient encore jeunes et leur différence d'âge n'était pas importante. Le recourant ne conteste aucunement ces considérations factuelles. Il omet par ailleurs de préciser que le rapport sur lequel il se fonde a été rendu antérieurement aux difficultés liées à l'exercice du droit de visite, difficultés qu'il reconnaît lui-même en les faisant remonter au mois de janvier 2009. Or, ce sont principalement les obstacles relatifs à l'exercice du droit de visite qui ont conduit les juges cantonaux à se prononcer en faveur d'une réunion de la fratrie. Au contraire de ce qu'affirme le recourant, les raisons de ces difficultés ne sont pas pertinentes, seules le sont en effet les conséquences relevées par la cour cantonale, à savoir la séparation des enfants non seulement la semaine, mais également le week-end, le risque d'une éducation totalement séparée avec les difficultés relationnelles qu'elle engendrerait avec l'autre parent ainsi que les sources de jalousie pouvant en résulter. Le recourant ne s'en prend pourtant nullement à ces constatations de fait et ne parvient pas, en conséquence, à établir l'arbitraire des conclusions qu'en tire juridiquement la cour cantonale (consid. 2.2). Contrairement enfin à ce qu'il prétend, les juges cantonaux n'ont pas ignoré les conséquences négatives d'un nouveau changement dans le cadre de vie des enfants. Après les avoir expressément relevées, ils ont néanmoins convenu que ces difficultés n'étaient pas telles qu'elles empêchaient la réunion des enfants, leur accordant ainsi une importance mineure par rapport au regroupement qu'ils ont préféré privilégier. En tant que le recourant ne critique pas cette appréciation, il échoue à en démontrer l'arbitraire et ne peut dès lors reprocher aux juges cantonaux un quelconque arbitraire dans l'application des art. 137 et 176 CC. Ces critiques sont par conséquent irrecevables.
3.3.2 Pour fonder l'arbitraire de la décision cantonale, le recourant se réfère essentiellement au rapport rendu en date du 7 décembre 2007 par l'Office cantonal des mineurs, lequel préconisait le maintien de la situation d'alors, à savoir la séparation de la fratrie. Ce rapport n'a pas été ignoré par la cour cantonale. Celle-ci a cependant relevé qu'aucune circonstance particulière ne justifiait, objectivement, pareille solution: aucune mésentente manifeste et insurmontable des enfants entre eux ou de l'un à l'égard de l'un de ses parents n'était avérée; aucun des deux enfants ne se trouvait dans une situation personnelle telle qu'elle nécessitait l'attribution de sa garde à l'un des parents à l'exclusion de l'autre; de surcroît, les enfants étaient encore jeunes et leur différence d'âge n'était pas importante. Le recourant ne conteste aucunement ces considérations factuelles. Il omet par ailleurs de préciser que le rapport sur lequel il se fonde a été rendu antérieurement aux difficultés liées à l'exercice du droit de visite, difficultés qu'il reconnaît lui-même en les faisant remonter au mois de janvier 2009. Or, ce sont principalement les obstacles relatifs à l'exercice du droit de visite qui ont conduit les juges cantonaux à se prononcer en faveur d'une réunion de la fratrie. Au contraire de ce qu'affirme le recourant, les raisons de ces difficultés ne sont pas pertinentes, seules le sont en effet les conséquences relevées par la cour cantonale, à savoir la séparation des enfants non seulement la semaine, mais également le week-end, le risque d'une éducation totalement séparée avec les difficultés relationnelles qu'elle engendrerait avec l'autre parent ainsi que les sources de jalousie pouvant en résulter. Le recourant ne s'en prend pourtant nullement à ces constatations de fait et ne parvient pas, en conséquence, à établir l'arbitraire des conclusions qu'en tire juridiquement la cour cantonale (consid. 2.2). Contrairement enfin à ce qu'il prétend, les juges cantonaux n'ont pas ignoré les conséquences négatives d'un nouveau changement dans le cadre de vie des enfants. Après les avoir expressément relevées, ils ont néanmoins convenu que ces difficultés n'étaient pas telles qu'elles empêchaient la réunion des enfants, leur accordant ainsi une importance mineure par rapport au regroupement qu'ils ont préféré privilégier. En tant que le recourant ne critique pas cette appréciation, il échoue à en démontrer l'arbitraire et ne peut dès lors reprocher aux juges cantonaux un quelconque arbitraire dans l'application des art. 137 et 176 CC. Ces critiques sont par conséquent irrecevables.
3.4 3.4.1 Après s'être prononcé en faveur d'un regroupement des enfants, le Tribunal cantonal a décidé que ceux-ci devaient tous deux être attribués à leur mère, faisant sienne les raisons qui avaient incité la première instance à adopter cette solution. Selon les premiers juges, le jeune âge de B._ conduisait en effet à privilégier la relation maternelle, ce d'autant plus que, depuis sa naissance, il avait toujours vécu avec sa mère. Cette remarque valait au demeurant partiellement pour A._, qui avait séjourné au domicile de sa mère après la suspension de la vie commune, avant d'être récupérée par son père dans des circonstances incertaines. Par ailleurs, celui-ci ne s'était pas montré conciliant dans le respect du droit de visite et avait régulièrement été à l'origine des blocages qui avaient empêché la mère de voir sa fille durant plusieurs semaines. Les qualifications professionnelles du père étaient enfin meilleures que celles de la mère, de sorte que, libéré de la charge durable de sa fille, ses perspectives d'embauche devaient lui permettre de réaliser des revenus aptes à assurer l'entretien de ses enfants, contrairement à ce que son épouse pouvait espérer. A ces différents éléments, le Tribunal cantonal a ajouté que l'attribution des enfants à leur mère allait dans le sens des conclusions rendues par l'Office des mineurs dans son rapport de juillet 2009. Il a également observé que les déplacements du père à l'étranger constituaient une source supplémentaire de difficultés et qu'enfin, compte tenu du caractère aigu du conflit entre les parties, la prétendue passivité qui était reprochée à la mère quant à l'organisation du droit de visite devait être relativisée, cette attitude pouvant s'expliquer par le fait que les propositions formulées par son mari à cet égard tendaient à maintenir la séparation de la fratrie, situation objectivement injustifiée.
3.4.2 Le recourant estime qu'aucun élément du dossier ne permettrait de conclure que ses déplacements réguliers à l'étranger pourraient être une source supplémentaire de difficultés dans son organisation dans l'hypothèse où il obtiendrait la garde des enfants. Les juges cantonaux auraient donc arbitrairement apprécié les preuves à cet égard. De surcroît, en tant qu'il apparaissait que l'intimée travaillait toujours à des taux d'occupation importants et qu'elle plaçait toute la journée B._ en crèche, la cour cantonale aurait dû examiner comment s'organiserait son épouse si la garde des deux enfants devait lui être confiée. En omettant de se prononcer sur la capacité de chacun des parents à s'occuper personnellement de l'enfant, et ainsi, sur l'intérêt même des enfants, le Tribunal cantonal aurait arbitrairement appliqué les art. 137 et 176 al. 3 CC.
Concernant les déplacements à l'étranger, le recourant se limite, par sa critique, à opposer son appréciation à celle de l'autorité cantonale, sans formuler d'éléments propres à la renverser. Ses remarques sont par conséquent appellatoires et, partant, irrecevables (consid. 2.2). Au demeurant, les motifs qui ont conduit les juges à attribuer la garde des enfants à leur mère - et, implicitement, à retenir sa capacité à s'en occuper - ont été exposés plus haut et le recourant, soit ne les critique pas, soit le fait de manière inefficace, de sorte que ses griefs à cet égard tombent à faux.
4. Vu ce qui précède, le recours est rejeté, dans la mesure de sa recevabilité. Les conclusions de l'intéressé étant dépourvues de toutes chances de succès, sa requête d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF) et les frais judiciaires mis à sa charge (art. 66 al. 1 LTF). Aucune indemnité de dépens n'est accordée à l'intimée qui n'a pas été invitée à répondre (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La requête d'assistance judiciaire du recourant est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties et à la Cour de cassation civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 19 avril 2010
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Hohl de Poret