Feststellung von Fuss- und Fahrwegrecht/Grundbucheintrag, hat sich ergeben: A.- Bei den Parteien handelt es sich um Eigentümer verschiedener, im Zürcher Stadtkreis 5 gelegener Grundstücke. Die Kläger 1-3 sind Miteigentümer des Grundstückes Kat.-Nr. 2070; dem Kläger 4 gehört die Liegenschaft Kat.-Nr. 2068. Die Beklagte 1 ist Eigentümerin der Grundstücke Kat.- Nr. 4614, 2066 und 2067; dem Beklagten 2 gehört Kat.-Nr. 2071; die Beklagten 3 und 4 schliesslich sind Miteigentümer von Kat.-Nr. 2069. Die Liegenschaften befinden sich an der Kreuzung Josef-/Hafnerstrasse und bilden an der von der Strasse abgewandten Seite einen Innenhof. Dieser verläuft parallel zur Josefstrasse und ist über eine rechtwinklig in sie einmündende Zufahrtsstrasse erschlossen. Deren Fläche setzt sich zusammen aus Teilen der unmittelbar an sie angrenzenden Liegenschaften Kat.-Nr. 2066, 4614, 2065 und 2075, wobei die Eigentümer der beiden letztgenannten Parzellen nicht Parteien dieses Verfahrens sind. Auf der rund 7,5 m breiten Zufahrtsstrasse besteht seit 1894 zugunsten der im Innenhof gelegenen Grundstücke eine Weg- und Zufahrtsdienstbarkeit; im Anschluss an die vorinstanzliche Benennung im Folgenden ebenfalls als "Servitut Josefstrasse" bezeichnet. Die Kläger, deren Grundstücke im hinteren Teil des Innenhofes liegen, können allerdings nicht auf diese Zufahrtsstrasse gelangen, ohne Grundstücke der Beklagten überqueren zu müssen. Demzufolge sind sie nicht imstande, die auch ihnen zustehende Servitut Josefstrasse an der aus dem Innenhof hinausführenden Zufahrtsstrasse auszuüben, weil dazu ein zusätzliches Wegrecht an den beklagtischen Grundstücken erforderlich wäre. B.- Die Kläger beantragten dem Einzelrichter am Bezirksgericht Zürich, es sei festzustellen, dass auf den klägerischen und beklagtischen Liegenschaften ein gegenseitiges Fuss- und Fahrwegrecht bestehe, welches einen Streifen von 3,5 m Breite bzw. je 1,75 m ab den jeweiligen Grundstücksgrenzen umfasse. Ferner sei das Grundbuchamt Aussersihl-Zürich anzuweisen, dieses Fuss- und Fahrwegrecht im Grundregister einzutragen. Mit Urteil vom 20. August 1999 wies der Einzelrichter die Klage ab. Hiergegen legten die Kläger beim Obergericht des Kantons Zürich Berufung ein und erneuerten ihre Anträge; zusätzlich stellten sie ein Eventualbegehren auf Feststellung eines ungemessenen gegenseitigen Fuss- und Fahrwegrechtes; subeventuell eine solche Feststellung ohne Einbezug des Grundstückes Kat.-Nr. 4614. Das Obergericht wies die Klage am 20. Oktober 2000 ebenfalls ab. C.- Die Kläger erheben eidgenössische Berufung und beantragen dem Bundesgericht unter Erneuerung ihrer vorinstanzlich gestellten Anträge, das Urteil des Obergerichts aufzuheben. Die Vorinstanz hat auf Gegenbemerkungen verzichtet; Berufungsantworten sind keine eingeholt worden.