Sachverhalt: A. G._ war als Alleinerbin ihres verstorbenen Ehemannes Eigentümerin eines bäuerlichen Betriebes. Mit öffentlich beurkundetem Kaufvertrag vom 27. Juli 1962 verkaufte sie den Betrieb an ihren Sohn H._. Der Kaufpreis betrug Fr. 40'000.--, wovon Fr. 20'000.-- durch Übernahme der Hypothek und Fr. 20'000.-- durch Einräumung eines lebenslänglichen Wohnrechts für G._ und ihre Tochter I._ auf dem Hof zu begleichen waren. In Ziff. 4 der "Weiteren Bestimmungen" des Kaufvertrages hielten die Parteien fest, sie betrachteten das Geschäft steuerrechtlich als Erbvorbezug und beanspruchten deshalb die Befreiung von den Handänderungs- und Grundstückgewinnsteuern. Ziff. 7 lautete sodann wie folgt: "Werden die Kaufsobjekte durch den Käufer oder seine Erben innert fünfzehn Jahren, vom Tage der Eigentumsübertragung an gerechnet, ganz oder teilweise weiterveräussert, so ist der Nettoerlös (dh. der Verkaufserlös nach Abzug aller mit der Veräusserung verbundenen, dem Veräusserer auferlegten Steuern) an die Verkäuferin abzuliefern, soweit er Fr. 220'000.-- [...] - bei gesamthafter Veräusserung - oder Fr. 3.--/m2 [...] - bei Teilveräusserungen - übersteigt. Auch bei Veräusserung der Gebäudegrundstücke verbleiben dem Veräusserer nur Fr. 3.--/m2 (einschliesslich Wert der Gebäude). [...] Ist Wwe. G._ gestorben, so fallen die abzuliefernden Mehrerlöse aus Veräusserungen in ihren Nachlass und sind nach erbrechtlichen Regeln zu verteilen. Diese vertraglich vereinbarte Gewinnbeteiligung der Verkäuferin oder ihrer Erben kann im Grundbuch nicht vorgemerkt werden." Diesem Vertrag stimmten auch I._ und der weitere Sohn von G._, J._, zu. Der Eigentumswechsel wurde am 1. Oktober 1962 im Grundbuch vollzogen. G._ verstarb 1965. Nachdem die mit den beiden Brüdern J._ und H._ miterbende Schwester I._ ohne Nachkommen verstorben war, wurden J._ und H._ je zur Hälfte Erben ihrer Mutter G._. Mit Kaufvertrag vom 15. April 1977 verkaufte H._ eine Fläche von 9'831 m2 aus dem von seiner Mutter erworbenen Betrieb zu einem Preis von Fr. 658'677.-- an K._. Noch vor dem Eintrag im Grundbuch verkaufte K._ das Land abparzelliert an dreissig Parteien weiter, die an seiner Stelle in den Kaufvertrag eintraten und am 29./30. Dezember 1977 als Eigentümer im Grundbuch eingetragen wurden. Mit Kaufvertrag vom 9. Juni 1977 verkaufte H._ weitere rund 4'100 m2 aus dem Betrieb an L._ zu einem Preis von Fr. 225'500.--. Die grundbuchliche Eigentumsübertragung erfolgte am 3. Oktober 1977. B. Am 15. Januar 2008 klagte J._ beim Bezirksgericht Affoltern gegen die Erben von H._, nämlich D._, E._ und F._ (Beschwerdegegner), und verlangte, sie zur Zahlung von Fr. 421'192.-- nebst Zins zu 5 % auf Fr. 314'592.-- seit 15. April 1977 und auf Fr. 106'600.-- seit 9. Juni 1977 zu verpflichten. Er verlangte damit die Hälfte des Fr. 3.--/m2 übersteigenden Verkaufserlöses aus den beiden Verkaufsgeschäften von 1977 und stützte sich dazu auf Ziff. 7 des Kaufvertrages von 1962. J._ verstarb am 1. April 2010, worauf seine Ehefrau A._ und die beiden Töchter B._ und C._ (alle drei fortan als Beschwerdeführerinnen bezeichnet) als Erbinnen in den Prozess eintraten. Mit Urteil vom 22. Dezember 2011 verpflichtete das Bezirksgericht die Beschwerdegegner, den Beschwerdeführerinnen Fr. 360'912.-- zuzüglich Zins von 5 % seit 4. September 2002 zu bezahlen. C. Am 14. Februar 2012 erhoben die Beschwerdegegner gegen dieses Urteil Berufung, mit der sie die Abweisung der Klage verlangten. Die Beschwerdeführerinnen erhoben Anschlussberufung, mit der sie die Bezahlung von Fr. 413'322.-- verlangten, zuzüglich Zins zu 5 % seit 15. April 1977 auf Fr. 308'752.-- und seit 9. Juni 1977 auf Fr. 104'570.--. Mit Urteil vom 16. Januar 2013 verpflichtete das Obergericht des Kantons Zürich die Beschwerdegegner zwar zur Bezahlung von Fr. 413'322.--, wies die Zinsforderung jedoch ab. D. Am 18. Februar 2013 haben die Beschwerdeführerinnen gegen dieses Urteil Beschwerde an das Bundesgericht erhoben. Sie verlangen, das obergerichtliche Urteil zu bestätigen, soweit es um die Verurteilung zur Zahlung von Fr. 413'322.-- geht. Hingegen sei es aufzuheben, soweit ihre Klage abgewiesen worden sei und demgemäss seien die Beschwerdegegner zu verpflichten, den Beschwerdeführerinnen auf dem Betrag von Fr. 308'752.-- 5 % Zins seit 15. April 1977 und auf dem Betrag von Fr. 104'570.-- 5 % Zins seit 9. Juni 1977 zu bezahlen. Die kantonale Kostenverteilung sei zu bestätigen. Für den Fall, dass das Bundesgericht es ablehnen sollte, auf den vorliegenden Fall erbrechtliche Teilungsregeln anzuwenden, beantragen sie, die Sache an das Obergericht zurückzuweisen, damit dieses prüfe, ob ihre Ansprüche auf vertragliche Grundsätze (Vertrag zugunsten Dritter) gestützt werden könnten. Das Obergericht hat auf Vernehmlassung verzichtet. Die Beschwerdegegner beantragen in ihrer Beschwerdeantwort vom 21. August 2013 die Abweisung der Beschwerde und eventualiter die Rückweisung der Sache an die Vorinstanz. Die Beschwerdeführerinnen haben am 30. August 2013 repliziert und die Beschwerdegegner haben hierauf am 13. September 2013 dupliziert. Zur Duplik haben die Beschwerdeführerinnen keine Stellung genommen.