Sachverhalt: A. C. X._ und Z._ (Beschwerdegegner 1) erwarben im Jahr 1984 Land in Q._ als Miteigentümer je zur Hälfte. Am 28. November 1984 räumten sie der sich in Gründung befindenden R._ AG (Baurechtsnehmerin) ein selbständiges, 100 Jahre dauerndes Baurecht ein. Mit Begründung der Baurechtsdienstbarkeit wurde der Baurechtszins festgelegt. Er sollte an einen bestimmten Zinssatz der Bank S._ gebunden sein und auf einem Landwert von Fr. 520.--/m2 berechnet werden. B. Ursprünglich standen von den 500 Aktien der Baurechtsnehmerin deren 275 im Eigentum des Beschwerdegegners 1 und seines Sohnes, C. X._ hielt 175 und D._ 50 Aktien. Dieser verkaufte im Juni 1989 seine Aktien zu gleichen Teilen an die X._ AG und an die Z._ AG (Beschwerdegegnerin 2). Damit bestanden zwei Aktionärsgruppen. Die "Gruppe A" (Z._) mit 60 % und die "Gruppe B" (C. X._) mit 40 %. C. Am 23. Juni 1989 liessen der Beschwerdegegner 1, C. X._ und die Baurechtsnehmerin eine Änderung der Zinsberechnung öffentlich beurkunden und im Grundbuch eintragen: künftig galt ein Landwert von Fr. 2'100.--/m2. Dieser Wert sollte jährlich der Ortsüblichkeit oder der Veränderung der Konsumentenpreise angepasst werden. D. Mit einfacher Schriftlichkeit schlossen C. X._ und der Beschwerdegegner 1 drei weitere Vereinbarungen betreffend den Baurechtszins. D. Mit einfacher Schriftlichkeit schlossen C. X._ und der Beschwerdegegner 1 drei weitere Vereinbarungen betreffend den Baurechtszins. D.a In einer mit "Aenderungen durch Uebernahme der Aktien D._" betitelten Übereinkunft vom 31. Oktober 1990 hielten sie u.a. unter dem Titel "Baurechtszinsen" fest: "Der Baurechtszins wurde laut Grundbuch-Vertrag vom 23. Juni 1989, resp. Vertrag Z._/C. X._ vom 20. Juni 1989 neu festgelegt auf Total Fr. 712'000.--. Der zusätzlich erhöhte Baurechtszins wird den beiden Landeignern zu je 50% gutgeschrieben, dadurch wird die anfallende Dividende der Aktionäre entsprechend kleiner. Die Benachteiligung von Gruppe A (60% Aktien) betreffend die Dividenden-Schmälerung wird durch erhöhte Verwaltungskosten ausgeglichen." "Der Baurechtszins wurde laut Grundbuch-Vertrag vom 23. Juni 1989, resp. Vertrag Z._/C. X._ vom 20. Juni 1989 neu festgelegt auf Total Fr. 712'000.--. Der zusätzlich erhöhte Baurechtszins wird den beiden Landeignern zu je 50% gutgeschrieben, dadurch wird die anfallende Dividende der Aktionäre entsprechend kleiner. Die Benachteiligung von Gruppe A (60% Aktien) betreffend die Dividenden-Schmälerung wird durch erhöhte Verwaltungskosten ausgeglichen." D.b Mit Vertrag vom 8. Februar 1991 verkaufte C. X._ "Z._ oder Z._ AG" seine 200 Aktien an der Baurechtsnehmerin zum Preis von insgesamt Fr. 6 Mio. Bezüglich Baurechtszins hielten die Vertragsparteien fest: 3.0. Der Baurechtszins von Fr. 356'000.00 gilt als Basiswert per 01.04.1991, für den Landanteil des Verkäufers und gilt demzufolge als Basiswert für die Zinskorrekturen gemäss Art. 3.2 und 3.3 dieses Vertrages, welche jährlich erstmals per 01.04.1992 zu erfolgen haben. 3.0. Der Baurechtszins von Fr. 356'000.00 gilt als Basiswert per 01.04.1991, für den Landanteil des Verkäufers und gilt demzufolge als Basiswert für die Zinskorrekturen gemäss Art. 3.2 und 3.3 dieses Vertrages, welche jährlich erstmals per 01.04.1992 zu erfolgen haben. ... 3.2. Der Baurechtszins erhöht sich um die Hälfte des Landesindex der Konsumentenpreise (Beispiel: 4% Teuerung = 2% Erhöhung Baurechtszins.) 3.3. Für Erhöhungen des Hypothekarzinses gilt die Basis 63⁄4%. Wenn der Hypothekarzins über 63⁄4% steigt, wird wiederum die Hälfte erhöht. (Beispiel 1⁄4% Erhöhung = 1/8% Aufschlag des Baurechtszins) Wenn der Hypothekarzins unter 61⁄4% fällt, wird der Baurechtszins um die Hälfte ermässigt." Wenn der Hypothekarzins unter 61⁄4% fällt, wird der Baurechtszins um die Hälfte ermässigt." D.c Am 9. Mai 1995 modifizierten C. X._ und der Beschwerdegegner 1 den Aktienkaufvertrag vom 8. Februar 1991 wie folgt: Für Erhöhungen des Hypothekarzinssatzes gilt die Basis 61⁄2%. Wenn der Hypothekarzinssatz 1. Hyp. laut ZKB für Gewerbehäuser über 61⁄2% steigt, wird wiederum die Hälfte erhöht. ... Wenn der Hypothekarzins unter 61⁄2% fällt, wird der Baurechtszins um die Hälfte ermässigt." E. In der Zwischenzeit hatte C. X._ im Jahre 1993 seinen hälftigen Miteigentumsanteil an der Baurechtsliegenschaft an seine beiden Kinder A. X._ (Beschwerdeführerin 1) und B. X._ (Beschwerdeführer 2) abgetreten. F. Am 6. November 1996 teilte die Baurechtsnehmerin den Grundeigentümern mit, sie werde den Baurechtszins künftig auf einem "aktuellen ortsüblichen" Landwert von Fr. 500.-- berechnen. Entsprechend reduzierte sie ihre Zahlungen ab dem ersten Quartal 1997 sowie zusätzlich unter Berufung auf die Senkung des Hypothekarzinses ab April 1998. Die Beschwerdeführer waren der Ansicht, der Baurechtszins bestimme sich nach den drei zusätzlichen Verträgen, namentlich dem Aktienkaufvertrag vom 8. Februar 1991. Sie klagten gegen die Baurechtsnehmerin auf Zahlung des Differenzbetrages. Dieses Verfahren wurde bis an das Bundesgericht gezogen, welches mit Urteil 5C.275/2002 vom 3. Juli 2003 erkannte, die drei zusätzlichen Vereinbarungen seien für die Baurechtsnehmerin nicht verbindlich, und der geschuldete Zins sei gemäss der Vereinbarung vom 23. Juni 1989 festzusetzen. G. Daraufhin machten die Beschwerdeführer mit Klageschrift vom 23. August 2004 beim Bezirksgericht Meilen eine Klage gegen die Beschwerdegegner hängig. Sie verlangten im Wesentlichen die Differenzbeträge zwischen dem nach ihrer Ansicht gemäss den Zusatzvereinbarungen geschuldeten und dem von der Baurechtsnehmerin tatsächlich bezahlten Baurechtszins von den Beschwerdegegnern unter solidarischer Haftbarkeit. Ein erstes Urteil des Bezirksgerichts hob das Obergericht des Kantons Zürich am 6. Juni 2007 im Wesentlichen auf. Es wies einen Teil der geltend gemachten Differenzbeträge zufolge Verjährung ab und erachtete die Forderung auf Ersatz der durch das Gerichtsverfahren gegen die Baurechtsnehmerin verursachten Kosten für nicht begründet. Es kam zum Schluss, gestützt auf den Wortlaut der Vereinbarungen könnten die Beschwerdeführer die eingeklagten Beträge von den Beschwerdegegnern nicht verlangen. Es wies die Sache an das Bezirksgericht zurück zur Durchführung eines Beweisverfahrens über einen allenfalls von der Auslegung nach dem Vertrauensprinzip abweichenden tatsächlich übereinstimmenden Parteiwillen. Nachdem das Bezirksgericht erneut entschieden hatte, wies das Obergericht am 17. Juni 2011 die Klage, soweit sie noch zu beurteilen war, im Gegensatz zum Bezirksgericht ab. H. Vor Bundesgericht verlangen die Beschwerdeführer im Wesentlichen die bereits im kantonalen Verfahren geltend gemachten Differenzbeträge nebst Zins. Die Beschwerdegegner schliessen auf kostenfällige Abweisung der Beschwerde, während das Obergericht auf Vernehmlassung verzichtet. Die Parteien haben eine Replik und eine Duplik eingereicht, obwohl das Bundesgericht keinen weiteren Schriftenwechsel angeordnet hat.