Faits : A. Par jugement du 7 février 2013, le Tribunal criminel des Montagnes et du Val-de-Ruz a condamné X._ pour vol, dommages à la propriété et violation de domicile, à une peine privative de liberté de trois ans et mis les frais de la cause à sa charge. B. Statuant sur l'appel de X._ et l'appel joint du Ministère public, la Cour pénale du Tribunal cantonal neuchâtelois les a rejetés par jugement du 29 novembre 2013. En bref, il en ressort les éléments suivants. Le 23 juillet 2006, X._, A._ et B._ ont cambriolé le Musée C._, à D._. Les cambrioleurs ont coupé une clôture pour s'introduire dans l'enceinte du musée, puis ont détruit deux boîtiers électriques situés sur les façades nord et sud du musée, qu'ils ont atteints à l'aide d'échelles. Ils se sont ensuite dirigés vers la porte d'entrée du musée qu'ils ont fracturée avec des pieds de biche. Une fois à l'intérieur, ils ont brisé une dizaine de vitrines avant de s'emparer de quarante-quatre montres d'une valeur totale de 441'865 francs. Après avoir arraché les boîtiers d'alarme dans le bureau du conservateur, ils se sont rendus au premier étage où ils ont tenté de fracturer une vitrine blindée et un portail métallique, sans succès. Ils ont alors pris la fuite dans la forêt où A._ a été interpellé par la police. Sur le chemin de fuite, ont été retrouvés trois montres provenant du musée et divers objets, dont un piolet avec manche en plastique noir et rouge et, en lisière de forêt à proximité du musée, un vélo dérobé le jour même à D._. C. X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, au constat de la violation du droit fédéral, à l'annulation du jugement entrepris et au renvoi de la cause à l'autorité précédente. Il requiert, par ailleurs, l'assistance judiciaire.