Sachverhalt:
A.
Das Obergericht des Kantons Zürich sprach A._ am 15. Mai 2013 zweitinstanzlich der vorsätzlichen Tötung und weiterer Delikte schuldig und verurteilte ihn zu einer Freiheitsstrafe von 19 Jahren und einer Busse. Ferner ordnete es die Verwahrung im Sinne von <ref-law> an.
Eine von A._ dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil vom 6. Mai 2014 teilweise gut. Es hob das angefochtene Urteil auf und wies das Obergericht an, ein Gutachten eines neuen Sachverständigen einzuholen, das sich zur Behandlungsfähigkeit, den Erfolgsaussichten einer (stationären) therapeutischen Massnahme und den Vollzugsmöglichkeiten äussert (Urteil 6B_829/2013 vom 6. Mai 2014 E. 4.5). Das Obergericht beauftragte in der Folge Dr. med. B._ mit der Erstellung eines neuen Gutachtens.
Mit Urteil vom 29. September 2017 stellte das Obergericht unter anderem fest, dass sein Urteil vom 15. Mai 2013 hinsichtlich der Schuldsprüche und der Strafe in Rechtskraft erwachsen sei, und ordnete zudem die Verwahrung im Sinne von <ref-law> an. Es stützte sich auf das neu eingeholte forensisch-psychiatrische Gutachten vom 31. Juli 2015 und die gutachterlichen Ausführungen anlässlich der Berufungsverhandlung vom 3. Oktober 2016. Es gelangte zum Schluss, der Rückfallgefahr könne mit einer therapeutischen Massnahme nicht ausreichend begegnet werden; vielmehr bedürfe es der Verwahrung im Sinne von <ref-law>.
Das Bundesgericht hiess eine von A._ dagegen erhobene Beschwerde mit Urteil vom 2. August 2018 wiederum teilweise gut und wies die Sache zur neuen Beurteilung an das Obergericht zurück. Es stellte eine Verletzung des rechtlichen Gehörs fest und führte zur Begründung aus, dass die Vorinstanz und die Parteien über jene Akten verfügen müssen, die dem Gutachter bei der Begutachtung vorlagen und auf die sich diese stützt. Das Obergericht werde deshalb die dem Gutachter im Juni 2015 vom Psychiatrisch-Psychologischen Dienst des Amts für Justizvollzug des Kantons Zürich (nachfolgend: PPD) zur Verfügung gestellten Akten beiziehen und den Parteien das rechtliche Gehör gewähren müssen. Anhand der vollständigen Akten werde es prüfen müssen, ob der Gutachter die wesentlichen Unterlagen berücksichtigt habe und sein Gutachten im Ergebnis schlüssig sei. Dabei werde es sich auch mit der Kritik von A._ hinsichtlich der Berücksichtigung verschiedener Einschätzungen des PPDs im Gutachten auseinandersetzen müssen. Ebenso werde es die gestellten Beweisanträge erneut zu prüfen haben (Urteil 6B_56/2018 vom 2. August 2018 E. 3.5, publ. in <ref-ruling>).
Das wieder mit der Sache befasste Obergericht zog am 26. November 2018 sämtliche A._ betreffenden Akten beim PPD bei. Mit Beschluss vom 4. Mai 2020 beauftragte es Dr. med. B._ mit einer Ergänzung/Aktualisierung seines Gutachtens vom 31. Juli 2015. Unter Beilage des an den Gutachter gerichteten Fragenkatalogs setzte es den Parteien Frist an, um sich zu den Fragen zu äussern und dazu eigene Anträge zu stellen.
Mit Eingabe vom 1. Juli 2020 verlangte A._ den Ausstand von Dr. med. B._. Dieser nahm am 14. August 2020 dazu Stellung und erklärte, er erachte sich nicht als befangen. Mit Beschluss vom 31. August 2020 wies das Obergericht das Ausstandsgesuch ab (Dispositiv-Ziff. 1); ebenfalls wies es verschiedene von A._ gestellte Beweisanträge ab (Dispositiv-Ziff. 2-4).
B.
Mit Beschwerde in Strafsachen ans Bundesgericht vom 1. Oktober 2020 beantragt A._, der Beschluss des Obergerichts vom 31. August 2020 sei aufzuheben und Dr. med. B._ habe in den Ausstand zu treten.
Das Obergericht und der Beschwerdegegner haben auf eine Vernehmlassung verzichtet. Die Staatsanwaltschaft IV des Kantons Zürich und die Staatsanwaltschaft Limmattal/Albis haben sich nicht vernehmen lassen.

Erwägungen:
1.
Angefochten ist ein selbstständig eröffneter, kantonal letztinstanzlicher Zwischenentscheid über ein Ausstandsbegehren in einer Strafsache (Art. 78 Abs. 1, Art. 80 Abs. 1 und Art. 92 BGG). Der Beschwerdeführer ist zur Beschwerde berechtigt (<ref-law>). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten, soweit sie die Ausstandsfrage betrifft. Nicht einzutreten ist auf die Beschwerde indessen insoweit, als die Aufhebung des Beschlusses des Obergerichts auch in Bezug auf nicht den Ausstand betreffende Fragen verlangt, aber nicht dargelegt wird, inwiefern das Obergericht in dieser Hinsicht Bundesrecht verletzt hat (<ref-law>).
2.
2.1. Der Beschwerdeführer kritisiert, der angefochtene Entscheid sei unzureichend begründet. Das Obergericht sei auf die von ihm vorgetragene Kritik an den Behauptungen von Dr. med. B._ nicht eingegangen.
2.2. Der Anspruch auf rechtliches Gehör verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (<ref-law>; <ref-ruling> E. 5.2 S. 70 f. mit Hinweisen).
2.3. Das Obergericht hat sich tatsächlich nicht im Einzelnen mit der Kritik des Beschwerdeführers an den gutachterlichen Äusserungen befasst. Diese stehen allerdings auch nur insoweit zur Diskussion, als sie für die Ausstandsfrage relevant sind. Insofern geht aus dem angefochtenen Entscheid und dem darin erwähnten Beschluss vom 4. Mai 2020 hinreichend hervor, weshalb das Obergericht die Ausstandspflicht verneint hat. Es hat insbesondere dargelegt, dass das Gutachten trotz der daran von dritter Seite geübten Kritik als Grundlage für den gerichtlichen Entscheid geeignet sei und es beim ausstehenden Gutachtensauftrag im Wesentlichen um eine Aktualisierung gehe. Diese Ausführungen genügen der Begründungspflicht. Ob sie zutreffen, ist nicht eine Frage des rechtlichen Gehörs, sondern der inhaltlichen Beurteilung.
3.
3.1. Der Beschwerdeführer ist der Auffassung, es gehe nicht darum, ein über jede Kritik erhabenes Gutachten einzig mit Blick auf seither eingetretene Entwicklungen und gewonnene Erkenntnisse zu überprüfen. Der Gutachter habe sich bei der Erarbeitung seiner Empfehlungen massgeblich auf Abklärungen und Empfehlungen des PPD gestützt und behauptet, dessen "Kader" hätte die Behandelbarkeit sorgfältig abgeklärt und verneint. Der Beschwerdeführer kritisiert vorab verschiedene Aussagen, die der Gutachter an seiner Befragung anlässlich der Berufungsverhandlung vom 3. Oktober 2016 machte und hält dazu fest, diese seien zum Teil aktenwidrig, zum Teil handle es sich zumindest um inakzeptable Übertreibungen. Nicht nachvollziehbar sei auch, weshalb der Gutachter nicht auf die therapeutische Behandlung bei Dr. C._ eingegangen sei, die mehr als 25 Stunden gedauert habe. Insgesamt bestünden erhebliche Bedenken gegenüber der Sorgfalt und Objektivität des Gutachtens. Der Gutachter müsse nun in einem zweiten Schritt auf die von der Verteidigung geäusserte Kritik eingehen. Im Ergebnis müsse er damit die Schlüssigkeit seiner früheren Expertise prüfen, was er gemäss der Rechtsprechung jedoch nicht unbefangen tun könnte.
3.2. Das Obergericht führt aus, es gehe entgegen der Auffassung des Beschwerdeführers nicht darum, Dr. med. B._ mit einer Überprüfung seines eigenen Gutachtens zu betrauen. Vielmehr sei im Wesentlichen die Frage zu beantworten, ob die seit der Erstellung des Gutachtens eingetretenen Entwicklungen und Erkenntnisse dessen Ergebnis beeinflussten. Dass sich der Gutachter in diesem Rahmen auch zu bereits bekannten (abweichenden) Einschätzungen und Parteivorbringen äussern solle, ändere daran nichts. Im Übrigen bezeichne med. pract. D._, der vom Beschwerdeführer selbst als Experte beigezogen worden sei, das Gutachten als nach den Regeln der Kunst erstellt.
3.3. Für Sachverständige gelten die Ausstandsgründe nach Art. 56 lit. a-f StPO (<ref-law>). Gemäss lit. b tritt eine in einer Strafbehörde tätige Person in den Ausstand, wenn sie in einer anderen Stellung, insbesondere als Mitglied einer Behörde, als Rechtsbeistand einer Partei, als Sachverständige oder Sachverständiger, als Zeugin oder Zeuge, in der gleichen Sache tätig war. Gemäss lit. f tritt sie ebenfalls in den Ausstand, wenn sie aus anderen als den in lit. a-e genannten Gründen, insbesondere wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand, befangen sein könnte. Das Erfordernis der Unabhängigkeit und Unparteilichkeit von Sachverständigen ergibt sich verfassungsrechtlich aus <ref-law> und deckt sich inhaltlich mit dem aus <ref-law> fliessenden Anspruch auf einen unparteiischen, unvoreingenommenen und unbefangenen Richter (<ref-ruling> E. 7.1 S. 109). Ein analoger Anspruch ergibt sich aus dem in Art. 6 EMRK und Art. 14 UNO-Pakt II verankerten Grundsatz der Waffengleichheit (Urteil des EGMR Sara Lind Eggertsdóttir gegen Island vom 5. Juli 2007, Nr. 31930/04, Ziff. 47; Urteil 1B_551/2019 vom 19. August 2020 E. 4.2 mit Hinweisen).
Ein Ausstandsgrund im Sinne dieser Bestimmungen wird nach der Rechtsprechung angenommen, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit des Sachverständigen begründen (s. im Einzelnen: <ref-ruling> E. 5.2 S. 37-39; 178 E. 3.2.1 S. 179; Urteil 1B_551/2019 vom 19. August 2020 E. 4.3; je mit Hinweisen).
Nach der Rechtsprechung kann eine den Ausstand begründende Vorbefassung (i.S.v. <ref-law>) insbesondere vorliegen, wenn der als forensischer technischer Experte bestellte Sachverständige zuvor einen informellen "Vorbericht" zum untersuchten Unfallhergang verfasst hat, worin er sich - ohne nach den Vorschriften von Artikel 184 StPO förmlich bestellt und über seine Pflichten und die Straffolgen bei falschem Gutachten belehrt worden zu sein - in der Sache bereits weitgehend festlegte (Urteil 1B_196/2015 vom 17. Mai 2016 E. 4.4.3). Demgegenüber steht nichts entgegen, einen gesetzeskonform bestellten forensischen Experten über den gleichen Sachverhalt mehrmals als Gutachter zu befragen bzw. auch für ergänzende oder vertiefende Arbeiten als Sachverständigen beizuziehen. Er gilt nach einer ersten Äusserung als Experte in der gleichen Sache nicht bereits als unzulässig vorbefasst (Urteil 1B_551/2019 vom 19. August 2020 E. 4.4.4 mit Hinweisen).
Inhaltliche oder methodische Kritik einer Partei am forensischen Gutachten führt nach der Rechtsprechung des Bundesgerichts nur in Ausnahmefällen (bzw. bei besonders häufigen oder sehr krassen Fehlern, die sich einseitig zum Nachteil einer Partei auswirken) zum Ausstand der sachverständigen Person wegen Befangenheit im Sinne von <ref-law>. Der blosse Umstand, dass eine Partei (oder eine vom Gutachten beschwerte verfahrensbeteiligte Person) gewisse Feststellungen des von der Verfahrensleitung bestellten Sachverständigen bestreitet, begründet keinen Ausstandsgrund (<ref-ruling> E. 7.2.2 S. 110 f.). Angebliche Mängel eines forensischen Gutachtens sind grundsätzlich im gesetzlich vorgesehenen kontradiktorischen Verfahren zu beanstanden. Der Beweiswert und die Überzeugungskraft von gutachterlichen Feststellungen unterliegen im Übrigen der Beweiswürdigung durch das erkennende Gericht (zum Ganzen: Urteil 1B_551/2019 vom 19. August 2020 E. 4.5 mit Hinweisen).
3.4. Wie erwähnt, kritisiert der Beschwerdeführer vorab verschiedene Aussagen, die der Gutachter an seiner Befragung anlässlich der Berufungsverhandlung vom 3. Oktober 2016 machte. Es geht dabei im Wesentlichen um die Frage, wie die vom PPD stammenden Unterlagen zu interpretieren sind und insbesondere, wie sich das "Kader" des PPD zur Behandelbarkeit des Beschwerdeführers äusserte. Selbst wenn die Kritik zuträfe und die betreffenden Abklärungen bzw. Äusserungen nicht so interpretiert werden können, wie dies der Gutachter an der Berufungsverhandlung darstellte, kann indessen nicht von besonders häufigen oder sehr krassen Fehlern gesprochen werden, die sich einseitig zum Nachteil einer Partei auswirken. Es besteht deshalb insoweit kein Anschein der Befangenheit.
Das Gutachten selbst liess der Beschwerdeführer von med. pract. D._ analysieren. Dieser hielt fest, das Gutachten sei formal korrekt, die Akten seien ausführlich dargestellt worden, die Dokumentation der Exploration der Vorgeschichte sei ausreichend differenziert und die Rückfallrisikobeurteilung sei gut nachvollziehbar. Zwar äussert sich med. pract. D._ auch kritisch und hält etwa fest, Dr. med. B._ habe im Abschnitt Massnahmenempfehlung seines Erachtens einen entscheidenden Fehler in der Beurteilung der Behandelbarkeit begangen, der auf der problematischen Bewertung früherer Behandlungsversuche beruhe. Weiter habe er keine günstigen Kriterien erwähnt, obwohl es solche gebe. Diese liessen darauf schliessen, dass zumindest eine geringe therapeutische Beeinflussbarkeit vorhanden sei und nicht, wie von Dr. med. B._ festgestellt, eine sehr geringe bis geringe.
Auch diese Stellungnahme von med. pract. D._ legt keine Fehler offen, deren Tragweite darauf schliessen liesse, dass Dr. med. B._ nicht unbefangen weiterhin als Sachverständiger amten könnte. Die vom Beschwerdeführer und dem von ihm beauftragten Privatgutachter geäusserte Kritik zu prüfen, obliegt dem Sachrichter.
Unzutreffend ist schliesslich die Auffassung des Beschwerdeführers, Dr. med. B._ habe sein früheres Gutachten aus objektiver Sicht zu überprüfen. Wie aus dem Beschluss des Obergerichts vom 4. Mai 2020 hervorgeht, geht es vielmehr darum, die Entwicklungen der letzten fünf Jahre fachlich zu beurteilen und sich mit der Stellungnahme von med. pract. D._ auseinanderzusetzen. Zudem verlangt der Beschwerdeführer mit den von ihm am 1. Juli 2020 vorgelegten Ergänzungsfragen auch, dass der Gutachter sich zur aktuellen Relevanz eines vom 10. April 2009 datierenden Vorabklärungsberichts von Dr. E._ und eines Berichts von Dr. F._ vom 13. Februar 2015 äussert. Es liegt auf der Hand, dass sich diese Fragen nicht lösgelöst von der früheren Begutachtung beantworten lassen, was indessen für sich allein noch nicht auf Befangenheit schliessen lässt (Urteile 9C_731/2017 vom 30. November 2017 E. 3.4; 8C_89/2007 vom 20. August 2008 E. 7.2 mit Hinweisen). <ref-law> sieht ausdrücklich vor, dass die Verfahrensleitung das Gutachten durch die gleiche sachverständige Person ergänzen oder verbessern lassen kann, wenn es unvollständig oder unklar ist, mehrere Sachverständige in ihren Ergebnissen erheblich voneinander abweichen oder Zweifel an der Richtigkeit des Gutachtens bestehen. Befangenheit liegt entsprechend nicht schon vor, wenn der Gutachter beauftragt wird, sich mit gewissen Aktenstücken vertiefter auseinanderzusetzen (Urteil 8C_89/2007 vom 20. August 2008 E. 7.2 mit Hinweisen).
Das Obergericht verletzte aus diesen Gründen kein Bundesrecht, indem es die Befangenheit von Dr. med. B._ verneinte.
4.
Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Prozessführung und Rechtsverbeiständung für das bundesgerichtliche Verfahren. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwalt Matthias Brunner wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft IV des Kantons Zürich, der Staatsanwaltschaft Limmattal/Albis und dem Obergericht des Kantons Zürich, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 23. Dezember 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold