Faits: A. Les époux X._ ont deux enfants: A._, née le 12 avril 2003, et B._, né le 9 avril 2006. La garde des enfants du couple, en procédure de divorce, est litigieuse. B. B.a Le 2 mai 2006, l'épouse a déposé une requête de mesures protectrices de l'union conjugale devant le Tribunal civil du district de La Chaux-de-Fonds. A l'issue d'une audience tenue le 27 septembre 2006, les parties se sont entendues sur l'attribution de la garde des deux enfants à leur mère, le droit de visite du père devant être organisé en fonction de ses fréquents voyages à l'étranger. Malgré cet accord, A._ est restée chez son père à compter du mois d'octobre 2006. Le 21 novembre 2006, toujours dans le cadre de mesures protectrices de l'union conjugale, le père des enfants a demandé que la garde de ceux-ci lui soit attribuée. Par ordonnance de mesures protectrices de l'union conjugale du 31 janvier 2007, la garde de A._ a été provisoirement attribuée à son père, celle de B._ à sa mère. Le 4 janvier 2008, statuant sur nouvelle requête de l'épouse déposée le 27 septembre 2007, le Tribunal a confirmé la séparation de la fratrie entre chacun des parents. Cette dernière décision se fondait sur un rapport de l'Office cantonal des mineurs, daté du 7 décembre 2007. B.b Le 2 juillet 2008, dame X._ a saisi le Tribunal matrimonial du district de Neuchâtel d'une requête unilatérale de divorce, concluant notamment à ce que la garde des deux enfants lui soit attribuée. Le même jour, elle a déposé une requête de mesures provisoires, prenant la même conclusion. X._ a conclu au rejet de la requête de mesures provisoires et à ce que la garde des enfants lui soit attribuée. Sur le fond, il a conclu au rejet de la demande et, reconventionnellement, au prononcé du divorce ainsi qu'à l'obtention de la garde et de l'autorité parentale sur les enfants. Il a également saisi une nouvelle fois le juge d'une requête de mesures provisoires urgentes, visant à obtenir une réglementation plus précise du droit de visite des parents. Par ordonnance de mesures provisoires du 23 novembre 2009, statuant sur les diverses requêtes des parents, le président du Tribunal matrimonial du district de Neuchâtel a attribué la garde des enfants à la mère pour toute la durée de l'instance et fixé en conséquence le droit de visite du père. Ce dernier a recouru contre cette décision devant la Cour de cassation civile, laquelle a rejeté son recours. C. Par acte du 9 mars 2010, X._ exerce un recours en matière civile devant le Tribunal fédéral. Le recourant conclut préalablement à l'octroi de l'effet suspensif et, principalement, à l'annulation de la décision attaquée, à ce que la garde de sa fille A._ soit maintenue en sa faveur et à ce que le droit de visite de chaque parent soit fixé à quinzaine; subsidiairement, il demande le renvoi du dossier au premier juge. A l'appui de ses conclusions, le recourant invoque l'application arbitraire des art. 176 al. 3, 179 et 137 CC. Le recourant demande également à être mis au bénéfice de l'assistance judiciaire. D. Par ordonnance présidentielle du 26 mars 2010, la requête d'effet suspensif du recourant a été admise.