A.- Les époux A. et C.X._ sont les parents de six enfants: D._, né le 26 juin 1990, C._, née le 24 mars 1995, M._, née le 1er juillet 1997, ainsi que S._, E._ et L._, tous trois nés le 19 janvier 1999.
Par courrier du 3 juillet 1998, le Service de protection de la jeunesse (SPJ) a signalé à la Justice de paix du cercle d'Orbe que l'enfant D._ semblait faire l'objet de maltraitances sous la forme de coups portés par son père. Le 29 juillet 1998, le juge de paix a ouvert une enquête en limitation de l'autorité parentale et mandaté le SPJ aux fins d'établir un rapport. Une enquête pénale a en outre été ouverte contre les époux X._.
Par ordonnance de mesures préprovisionnelles du 3 septembre 1998, le juge de paix a retiré aux époux X._ leur droit de garde sur l'enfant D._ et a confiécelle-ci au SPJ. Le 10 septembre suivant, ce magistrat leur a restitué ce droit et a nommé le SPJ curateur provisoire, avec pour mission d'assister les parents dans leurs tâches éducatives.
Le SPJ a établi un rapport de renseignements à l'intention de la justice de paix le 23 août 1999.
Le 23 février 2000, le Juge d'instruction de l'arrondissement du Nord vaudois a renvoyé A.X._ devant le Tribunal de police du district d'Orbe comme accusé notamment de lésions corporelles simples qualifiées et de violation du devoir d'assistance ou d'éducation, en raison de corrections qu'il aurait administrées à ses enfants D._ etC. _. Le même jour, C.X._ a bénéficié d'un non-lieu.
Par jugement du 30 mai 2000, la Justice de paix du cercle d'Orbe a mis fin à l'enquête en limitation de l'autorité parentale, institué une curatelle d'assistance éducative en faveur des six enfants d'A. et C.X._, désigné le SPJ en qualité de curateur, le chargeant notamment de mettre en place un appui éducatif, et laissé les frais à la charge de l'Etat.
B.- Le 7 juin 2000, A. et C.X._ ont recouru contre cette décision, concluant essentiellement à ce qu'aucune mesure de protection ne soit instituée en faveur de leurs enfants. Dans leur mémoire du 25 août 2000, ils ont fait valoir en substance l'acquittement d'A. X._, intervenu le 9 août 2000 selon jugement du Tribunal correctionnel du district d'Orbe.
Par arrêt du 23 octobre 2000, notifié le 18 janvier 2001, la Chambre des tutelles du Tribunal cantonal du canton de Vaud a partiellement admis le recours interjeté par A. et C.X._ et a réformé le jugement attaqué en ce sens qu'une curatelle éducative à forme de l'<ref-law> est instituée en faveur du seul enfant D._, le SPJ étant désigné en qualité de curateur. Elle a confirmé le jugement pour le surplus et statué sans frais.
C.- a) Agissant par la voie du recours de droit public au Tribunal fédéral, A. et C.X._ concluent à l'annulation de l'arrêt de la Chambre des tutelles.
Ils sollicitent par ailleurs l'octroi de l'assistance judiciaire.
Des observations n'ont pas été requises.
b) Les recourants ont également interjeté un recours en réforme contre le même arrêt.

Considérant en droit :
1.- Conformément à la règle générale de l'art. 57 al. 5 OJ, il y a lieu de statuer d'abord sur le recours de droit public.
2.- Formé en temps utile contre une décision finale rendue en dernière instance cantonale, le recours est en principe recevable au regard des art. 84 ss OJ.
3.- Les recourants reprochent à l'autorité cantonale d'avoir refusé de donner suite aux mesures d'instruction qu'ils avaient requises.
a) Le droit de faire administrer des preuves, déduit du droit d'être entendu garanti par l'art. 29 al. 2 Cst. , n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves déjà administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6c/cc p. 135; <ref-ruling> consid. 4a p. 211, 241 consid. 2 p. 242, 274 consid. 5b p. 285 et les références citées).
b) En l'espèce, la Chambre des tutelles n'a pas entendu les témoins dont les recourants avaient demandé l'audition au motif qu'elle s'estimait "suffisamment renseignée et [pouvait] statuer sur la base du dossier, et compte tenu en outre du sort du recours". Les recourants ne sauraient se plaindre du refus d'administrer d'autres preuves s'agissant de leurs enfants cadets puisqu'ils ont obtenu gain de cause en ce qui concerne ceux-ci, aucune mesure n'ayant finalement été prise à leur égard. Quant à l'aîné, les recourants ne démontrent pas, par une argumentation précise, que l'autorité cantonale aurait commis arbitraire en estimant que les preuves recueillies lui suffisaient pour se prononcer. Autant qu'il est suffisamment motivé (art. 90 al. 1 let. b OJ; <ref-ruling> consid. 1b p. 495; <ref-ruling> consid. 1c p. 73), le moyen ne peut qu'être rejeté.
4.- a) Les recourants prétendent en substance que l'arrêt attaqué ne respecte pas le principe de subsidiarité contenu aux <ref-law>, dès lors que l'autorité cantonale aurait omis de tenir compte des importantes mesures de protection mises en place par eux-mêmes pour encadrer leur fils D._ et de leur acceptation de l'assistance des services d'aide à la jeunesse. Il serait en outre inadéquat de confier la curatelle au SPJ étant donné les accusations infondées de ce service, qui ont bouleversé leur vie familiale pendant deux ans. La décision de la Chambre des tutelles reposerait ainsi sur une appréciation insoutenable des circonstances et serait inconciliable avec les règles du droit et de l'équité.
b) Le recours de droit public pour arbitraire n'est recevable que si la prétendue violation ne peut pas être soumise par une action ou par un autre moyen de droit quelconque au Tribunal fédéral ou à une autre autorité fédérale (art. 84 al. 2 OJ). Or, précisément, le grief concernant le principe même de la curatelle, qui a trait au droit fédéral, peut être soumis à la cour de céans au moyen d'un recours en réforme, lequel est en l'occurrence ouvert (cf. art. 44 let. d OJ).
Les recourants ont au demeurant utilisé cette voie de droit parallèlement au présent recours de droit public. Cette critique est ainsi irrecevable (art. 43 al. 1 OJ). Dans la mesure où les recourants contestent l'exercice de la curatelle par le SPJ, ils n'ont pas qualité pour agir, faute d'intérêt juridiquement protégé selon l'art. 88 OJ (arrêt non publié 5P.371/1998 consid. 2; concernant la tutelle: <ref-ruling> ss et les références). Il n'y a donc pas non plus lieu d'entrer en matière sur ce point.
5.- Vu ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les conclusions des recourants étaient d'emblée vouées à l'échec, de sorte que leur demande d'assistance judiciaire ne peut être agréée (art. 152 al. 1 OJ). Cela étant, il y a lieu de mettre les frais de procédure à leur charge (art. 156 al. 1 OJ).

Par ces motifs,
le Tribunal fédéral,
vu l'art. 36a OJ:
1. Rejette le recours dans la mesure où il est recevable.
2. Rejette la requête d'assistance judiciaire présentée par les recourants.
3. Met à la charge des recourants un émolument judiciaire de 1'500 fr., solidairement entre eux.
4. Communique le présent arrêt en copie au mandataire des recourants, au Service de protection de la jeunesse et à la Chambre des tutelles du Tribunal cantonal du canton de Vaud.
_
Lausanne, le 7 juin 2001MDO/frs
Au nom de la IIe Cour civile
du TRIBUNAL FEDERAL SUISSE :
Le Président, La Greffière,