A.- Les époux A. et C.X._ sont les parents de six enfants: D._, né le 26 juin 1990, C._, née le 24 mars 1995, M._, née le 1er juillet 1997, ainsi que S._, E._ et L._, tous trois nés le 19 janvier 1999. Par courrier du 3 juillet 1998, le Service de protection de la jeunesse (SPJ) a signalé à la Justice de paix du cercle d'Orbe que l'enfant D._ semblait faire l'objet de maltraitances sous la forme de coups portés par son père. Le 29 juillet 1998, le juge de paix a ouvert une enquête en limitation de l'autorité parentale et mandaté le SPJ aux fins d'établir un rapport. Une enquête pénale a en outre été ouverte contre les époux X._. Par ordonnance de mesures préprovisionnelles du 3 septembre 1998, le juge de paix a retiré aux époux X._ leur droit de garde sur l'enfant D._ et a confiécelle-ci au SPJ. Le 10 septembre suivant, ce magistrat leur a restitué ce droit et a nommé le SPJ curateur provisoire, avec pour mission d'assister les parents dans leurs tâches éducatives. Le SPJ a établi un rapport de renseignements à l'intention de la justice de paix le 23 août 1999. Le 23 février 2000, le Juge d'instruction de l'arrondissement du Nord vaudois a renvoyé A.X._ devant le Tribunal de police du district d'Orbe comme accusé notamment de lésions corporelles simples qualifiées et de violation du devoir d'assistance ou d'éducation, en raison de corrections qu'il aurait administrées à ses enfants D._ etC. _. Le même jour, C.X._ a bénéficié d'un non-lieu. Par jugement du 30 mai 2000, la Justice de paix du cercle d'Orbe a mis fin à l'enquête en limitation de l'autorité parentale, institué une curatelle d'assistance éducative en faveur des six enfants d'A. et C.X._, désigné le SPJ en qualité de curateur, le chargeant notamment de mettre en place un appui éducatif, et laissé les frais à la charge de l'Etat. B.- Le 7 juin 2000, A. et C.X._ ont recouru contre cette décision, concluant essentiellement à ce qu'aucune mesure de protection ne soit instituée en faveur de leurs enfants. Dans leur mémoire du 25 août 2000, ils ont fait valoir en substance l'acquittement d'A. X._, intervenu le 9 août 2000 selon jugement du Tribunal correctionnel du district d'Orbe. Par arrêt du 23 octobre 2000, notifié le 18 janvier 2001, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a partiellement admis le recours interjeté par A. et C.X._ et a réformé le jugement attaqué en ce sens qu'une curatelle éducative à forme de l'art. 308 CC est instituée en faveur du seul enfant D._, le SPJ étant désigné en qualité de curateur. Elle a confirmé le jugement pour le surplus et statué sans frais. C.- a) Agissant par la voie du recours de droit public au Tribunal fédéral, A. et C.X._ concluent à l'annulation de l'arrêt de la Chambre des tutelles. Ils sollicitent par ailleurs l'octroi de l'assistance judiciaire. Des observations n'ont pas été requises. b) Les recourants ont également interjeté un recours en réforme contre le même arrêt.