Zurechnungsfähigkeit, Verwahrung, Einziehung, (Nichtigkeitsbeschwerde gegen das Urteil des Geschworenengerichts des Kantons Zürich vom 19. Mai 1998), hat sich ergeben:
A.- O._ missbrauchte in den Jahren 1991 und 1992 die Kleinkinder X. und Y. in schwerster Weise und stellte davon Filme her. Überdies nahm er im Jahre 1992 mit dem damals 12-jährigen Z. sexuelle Handlungen vor.
B.- Am 19. Mai 1998 verurteilte das Geschworenengericht des Kantons Zürich O._ wegen mehrfachen versuchten Mordes, mehrfacher schwerer Körperverletzung, mehrfacher sexueller Handlungen mit Kindern sowie mehrfacher Schändung zu 17 Jahren Zuchthaus, als Zusatzstrafe zu einer in Amsterdam am 8. Juni 1994 ausgesprochenen Gefängnisstrafe von 6 Monaten. Es ordnete seine Verwahrung im Sinne von <ref-law> an und schob den Vollzug der Freiheitsstrafe zu diesem Zweck in Anwendung von <ref-law> auf.
C.- O._ führt eidgenössische Nichtigkeitsbeschwerde mit dem Antrag, das Urteil des Geschworenengerichtes aufzuheben und die Sache an die Vorinstanz zurückzuweisen.
D.- Das Geschworenengericht hat Gegenbemerkungen eingereicht. Es beantragt die Abweisung der Beschwerde.
Die Staatsanwaltschaft hat auf eine Vernehmlassung verzichtet.
E.- Am 20. Dezember 1999 hat das Kassationsgericht des Kantons Zürich die von O._ gegen das Urteil des Geschworenengerichtes erhobene kantonale Nichtigkeitsbeschwerde abgewiesen, soweit es darauf eingetreten ist.
Die von O._ dagegen eingereichte staatsrechtliche Beschwerde hat die I. öffentlichrechtliche Abteilung des Bundesgerichtes am 20. März 2000 abgewiesen, soweit sie darauf eingetreten ist.

Das Bundesgericht zieht in Erwägung:
1.- Hinsichtlich des Schuldspruchs wegen mehrfachen versuchten Mordes macht der Beschwerdeführer geltend, die Vorinstanz verletze mit der Annahme eines auf Tötung gerichteten Eventualvorsatzes <ref-law> in Verbindung mit <ref-law>.
Die Vorinstanz hat sich sowohl in tatsächlicher wie auch in rechtlicher Hinsicht eingehend mit der Frage des Tötungsvorsatzes auseinander gesetzt (Urteil S. 80-84; S. 91-93). Im Lichte der von ihr für das Bundesgericht verbindlich festgestellten Tatsachen (Art. 277bis Abs. 1 BStP) hat die Vorinstanz mit der Annahme von Mordvorsatz kein Bundesrecht verletzt.
Die Vorinstanz (S. 81 oben) stellt fest, dass X. objektiv mehrmals in Lebensgefahr war, einerseits durch die mehrmalige Beeinträchtigung der Atmung mittels Plastiksack und andererseits durch wiederholtes Untertauchen im Wasser während kürzeren oder längeren Zeitabschnitten; sie stellt fest, dass der Todeseintritt lediglich vom Zufall abgehangen habe. Es sei Allgemeinwissen, dass wiederholtes Unterbrechen der Sauerstoffzufuhr während längerer Zeitabschnitte ein hohes Todesrisiko mit sich bringe. Der Beschwerdeführer habe während der ganzen Misshandlungen, namentlich als er X. verschiedene Male brutal untertauchte und den Plastiksack über ihren Kopf stülpte und zuzog, immer wieder vom Sterben gesprochen. Bei der Visionierung der Stelle im Video B, in der sich X. 36 Sekunden unter Wasser befindet, habe die Vorinstanz realisiert, wie unglaublich lange 36 Sekunden sein können, "sie erscheinen endlos". Man habe das Bedürfnis einzugreifen und möchte das Kind aus dem Wasser ziehen. Auf dem Video sehe man deutlich, dass nicht nur einmal, sondern dreimal unter Wasser Luft aus Mund und Nase austrete und dass unübersehbar Luftblasen aufstiegen, die auch für jeden Laien ein eindeutiges und konkretes Anzeichen dafür seien, dass das Kind zu ertrinken drohe. Dies stelle Allgemeinwissen dar. Der Beschwerdeführer habe jedoch das zweijährige Kleinkind nicht beim ersten Mal aus dem Wasser geholt, als diese Zeichen höchster Lebensgefahr im wahrsten Sinne des Wortes aufgetaucht seien, sondern habe sein Opfer weiter unter Wasser gehalten. Als er es dann endlich nach dem dritten Austritt von Luftblasen losgelassen habe - und nicht etwa aktiv heraufgeholt habe -, habe sich das Kind aufgerappelt und sei vollständig erschöpft und benommen gewesen. Es habe blaue Lippen gehabt, gehustet und gekeucht. Im Video B gebe es eine weitere und auch im Video A gebe es zwei Szenen, in denen das Kind während je 26 Sekunden unter Wasser gehalten werde und Luftblasen aus Mund und Nase austreten würden, in einem Fall dreimal und in einem Fall sogar fünfmal. Auch das Husten sei ein deutlich wahrnehmbares Zeichen, dass sich das Kind in höchster Gefahr befinde. Von grausamer Eindrücklichkeit sei sodann die Szene im Video E, welche das Gericht visioniert habe, bei der die Luftzufuhr insgesamt 31 Sekunden unterbrochen wurde. X. ringe unter dem zusammengezogenen Plastiksack nach Luft, wobei sich der Sack über dem aufgerissenen Mund stark einbuchte; sie bekomme einen blauen Kopf. Eine ähnliche Sequenz finde sich im Film A, in welchem dem Kind sogar die Arme auf dem Rücken gefesselt worden seien, was die Atmung zusätzlich erschwert habe. Es kippe nach dem Entfernen des Plastiksackes erschöpft zur Seite. Es sei jedermann bekannt, dass es gefährlich sei, einen Plastiksack über den Kopf zu stülpen und dies plötzlich zum Tod führen könne. Die Vorinstanz gelangt zur festen Überzeugung, die Aussage des Experten sei richtig, dass es damals auf des Messers Schneide stand, ob das zweijährige Mädchen überleben würde oder nicht und dass der Beschwerdeführer den Tod ausgereizt habe, indem er das Kind am Rande des Todes malträtierte und sich an dessen Qualen und Todesängsten weidete. Der Beschwerdeführer habe bei den Misshandlungen zielgerichtet gehandelt. Er sei in der Lage gewesen, die Kamera zu bedienen, das Telefon abzunehmen und ein normales Gespräch zu führen, weshalb er auch in der Lage gewesen sei, das augenscheinlich grosse Risiko für das Kind zu erkennen. Er habe damit den Tod des Kindes in Kauf genommen.
Die Vorinstanz setzt sich eingehend mit den Argumenten der Verteidigung gegen die Annahme eines Eventualvorsatzes auseinander (Urteil S. 83/84). Die Einwendungen des Beschwerdeführers sind unbegründet.
Er macht zunächst geltend, die Vorinstanz habe sich nicht mit der Frage befasst, ob nicht anstelle von Tötungsvorsatz Gefährdungsvorsatz im Sinne von <ref-law> anzunehmen sei. Nachdem die Vorinstanz gestützt auf ihre tatsächlichen Feststellungen zutreffend auf Tötungsvorsatz geschlossen hat, erübrigte es sich, auf die Frage einzugehen, ob der subsidiäre Tatbestand von <ref-law> allenfalls erfüllt sei.
Der Beschwerdeführer macht geltend, die Vorinstanz hätte berücksichtigen müssen, dass er gewusst habe, dass er das Kind der Mutter, einer Bekannten von ihm, im Beisein seiner Freundin abends wieder werde übergeben müssen. Wäre das Kind tot gewesen, hätte er nicht nur mit einer Anzeige und mit dem Verlust seiner Lebenssituation rechnen müssen, sondern auch mit dem Verlust seiner Beziehung zu seiner damaligen Geliebten, Frau S._, die für ihn existenziell gewesen sei. Dieses vitale Interesse verbiete es, eine innere Einstellung anzunehmen, welche auf die Vernichtung des Kindes gerichtet gewesen sei.
Der Einwand ist unbehelflich. Wer, wie dargelegt, ein Kind einer derart extremen Todesgefahr aussetzt wie hier, nimmt den Todeseintritt in Kauf, und zwar auch dann, wenn ihm der Tod des Kindes im Hinblick auf die hier geschilderten Folgen unerwünscht sein sollte. Im Übrigen hätte der Beschwerdeführer so, wie er das Ganze angerichtet hat, gegebenenfalls von einem Badewannen-Ertrinkungsunfall sprechen können.
Unbehelflich ist auch der Einwand des Beschwerdeführers, er hätte ja die Tötung des Kindes jederzeit verwirklichen können, und die Tatsache, dass er dies nicht getan habe, sondern den lebensgefährlichen Zustand aktiv behoben habe, indiziere eine andere Einstellung als das Inkaufnehmen des Todes. Dieses Vorgehen beweist nur, dass der Beschwerdeführer möglicherweise keinen direkten Tötungsvorsatz hatte.
2.- Der Beschwerdeführer macht geltend, die Vorinstanz habe zu Unrecht nur auf eine mittelgradig verminderte Zurechnungsfähigkeit erkannt und eine schwere Verminderung der Zurechnungsfähigkeit verneint. Die Vorinstanz habe kritiklos die Ausführungen des psychiatrischen Sachverständigen in der Hauptverhandlung übernommen. Sie hätte umso eher Anlass gehabt, eine schwer verminderte Zurechnungsfähigkeit anzunehmen, als der Sachverständige Dr. Rothschild eine schwere Verminderung angenommen habe. Im Übrigen habe der Beschwerdeführer darauf hingewiesen, es sei eine rechtsungleiche Behandlung, wenn der mitangeklagten Frau S._, deren Biographie im Gegensatz zu der des Beschwerdeführers nicht von sexuellen Misshandlungen belastet sei und der keine schwerstperversen Handlungen anzulasten seien, eine im mittleren Grade verminderte Zurechnungsfähigkeit zugestanden werde, dem Beschwerdeführer jedoch, dessen Persönlichkeitsstörung biographisch eindeutig belegt sei und überdeutlich in den ihm vorgeworfenen Taten zum Ausdruck gelange, eine Verminderung der Zurechnungsfähigkeit in gleichem Ausmasse attestiert werde.
Die Vorinstanz hat sich eingehend mit der Frage der Zurechnungsfähigkeit des Beschwerdeführers auseinander gesetzt (Urteil S. 122 ff.). Prof. Dittmann sei zu folgendem Ergebnis gekommen: Das Ausmass der Persönlichkeitsstörung und die Störung im sexuellen Bereich seien beim Beschwerdeführer derart, dass von einer mangelhaften geistigen Entwicklung im Sinne von <ref-law> gesprochen werden müsse. Bezüglich aller ihm vorgeworfenen Delikte habe der Beschwerdeführer aufgrund seiner Intelligenz und der Vorkehren, die er für die Taten und gegen ein Entdecken getroffen habe, gewusst, dass er etwas Verbotenes tue. Die Steuerungsfähigkeit sei beeinträchtigt gewesen, und zwar in etwa mittlerem Mass bei den Misshandlungen von X. und Y. und leichtgradig bei den sexuellen Handlungen mit Z. Zu dieser Beurteilung gelangte Prof. Dittmann, weil er die festgestellte Störung in etwa in der Mitte liegend zwischen einer Geisteskrankheit und Normalität ansiedelte und ein totaler Kontrollverlust bei den angelasteten Handlungen nicht eingetreten sei. Der Beschwerdeführer habe sich beispielsweise bei der Misshandlung von X. und Y. an einen gewissen Zeitplan gehalten, was ihm einen gewissen Handlungsspielraum gelassen habe (Urteil S. 126/7).
Die Vorinstanz (S. 131) legt dar, die Folgerungen von Prof. Dittmann im Hinblick auf die Beurteilung des Masses der Verminderung der Zurechnungsfähigkeit seien nachvollziehbar.
Zusammenfassend kommt die Vorinstanz zum Schluss, dass der Beschwerdeführer aufgrund seiner Persönlichkeitsstörung mit zusätzlicher Störung der sexuellen Präferenzen die Taten zum Nachteil von X. und Y. in mittelgradig verminderter Zurechnungsfähigkeit und diejenigen zum Nachteil von Z. im Zustand leicht verminderter Zurechnungsfähigkeit begangen habe.
Diese Ausführungen lassen keine Bundesrechtsverletzung erkennen. Im Übrigen bemerkt die Vorinstanz in ihren Gegenbemerkungen zutreffend, dass sich verschiedene Persönlichkeitsstörungen und insbesondere deren Auswirkungen auf die Zurechnungsfähigkeit bei zwei Personen nicht direkt vergleichen lassen.
3.- Der Beschwerdeführer macht geltend, die Vorinstanz verletze in Bezug auf die angeordnete Verwahrung
Bundesrecht, weil sie andere Möglichkeiten nicht geprüft und angeordnet habe.
Die Vorinstanz hat sich mit der Frage der Verwahrung eingehend auseinander gesetzt (Urteil S. 166 ff.). Sie stellt fest, dass sämtliche Gutachter die Rückfallgefahr als gross und die Heilungschancen - selbst bei idealem Therapieangebot - als kurz- und mittelfristig ungewiss erachten. Die Heilungschancen einer Therapie seien derart ungewiss, dass auch während einer Behandlung schwerste Delikte zu befürchten seien. Die Rückfallgefahr sei gemäss Gutachter bei Tathandlungen, in denen sich wie bei den Misshandlungen der beiden Kleinkinder enorme Aggressivität entlade, statistisch hoch. Als zusätzlicher Faktor sei die chronifizierte Abweichung im Sexualverhalten zu gewichten. Zudem handle es sich nicht um eine einmalige Entgleisung. Die Vorinstanz kommt deshalb zum Schluss, dass der bestehenden Gefährlichkeit des Beschwerdeführers nicht auf andere Weise als durch eine Verwahrung begegnet werden kann.
Diese Erwägungen sind bundesrechtlich nicht zu beanstanden.
4.- Der Beschwerdeführer bringt schliesslich vor, die Vorinstanz habe die beschlagnahmten Kopien der Filme A-F eingezogen und der Psychiatrischen Universitätsklinik Basel, Abteilung Forensische Psychiatrie, zu wissenschaftlichen Zwecken mit der Auflage überlassen, diese ausserhalb eines ganz engen wissenschaftlichen und fachlichen Personenkreises keinesfalls Dritten zugänglich zu machen. Dies verletze <ref-law>. Die Vorinstanz habe ihren Beschluss insoweit auch nicht begründet. <ref-law> sehe die Herausgabe an einen Dritten nicht vor, bilde somit keine genügende gesetzliche Grundlage für diese Massnahme. Diese schaffe auch die Gefahr eines Missbrauchs, und zwar selbst dann, wenn die bedachten Dritten einen solchen verhindern wollten.
Man kann sich fragen, ob der Beschwerdeführer insoweit überhaupt beschwert und damit zur Nichtigkeitsbeschwerde legitimiert ist. Jedenfalls legt er eine Beschwer nicht dar. Zutreffend stellt er nämlich nicht in Frage, dass an sich eine Einziehung nach <ref-law> mit Bundesrecht zu vereinbaren ist.
Sogar wenn man annehmen wollte, dass auf die Beschwerde in diesem Punkt eingetreten werden könnte, wäre sie offensichtlich unbegründet. Denn nach <ref-law> kann der Richter anordnen, dass eingezogene Gegenstände unbrauchbar gemacht oder vernichtet werden. Bereits daraus ergibt sich, dass die Vernichtung eingezogener Gegenstände nicht zwingend ist. Jedenfalls ist es mit <ref-law> ohne weiteres zu vereinbaren, die Videokopien der Psychiatrischen Universitätsklinik, einer staatlichen Institution, zu wissenschaftlichen Zwecken zu überlassen unter der Auflage, die Filme ausserhalb eines ganz engen wissenschaftlich und fachlich begrenzten Personenkreises keinesfalls Dritten zugänglich zu machen.
5.- Zusammenfassend ist die Beschwerde abzuweisen, soweit auf sie eingetreten werden kann.
Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung kann gutgeheissen werden, weil gegen eine erstinstanzliche Verurteilung zu 17 Jahren Zuchthaus und Verwahrung nach <ref-law> auch dem Unvermögenden ein Rechtsmittel an eine obere Instanz offen stehen muss und die Vorbringen des Beschwerdeführers, ausgenommen in Bezug auf die Einziehung, jedenfalls vertretbar sind.

Demnach erkennt das Bundesgericht:
1.- Die eidgenössische Nichtigkeitsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird gutgeheissen.
3.- Es werden keine Kosten erhoben.
4.- Dem Vertreter des Beschwerdeführers, Rechtsanwalt Bernhard Gehrig, wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'500. -- ausgerichtet.
5.- Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft und dem Geschworenengericht des Kantons Zürich schriftlich mitgeteilt.
---------
Lausanne, 12. Mai 2000
Im Namen des Kassationshofes
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: