Sachverhalt: A. A._, wohnhaft in Herrliberg/ZH, ist bei der KPMG AG als Partner und Steuerberater unselbständig erwerbstätig. Am 3. August 2004 stellte er namens seiner Arbeitgeberin eine Rulinganfrage an die Eidgenössische Steuerverwaltung (ESTV). Inhalt der Anfrage war unter anderem die steuerliche Behandlung von Schuldzinsen im Zusammenhang mit Investitionen in eine australische Limited Partnership ("X._") im Rahmen der direkten Bundessteuer. In der Anfrage wurde unter anderem beantragt, Schuldzinsen, welche die australische Limited Partnership an weitere Geldgeber bezahle, seien beim schweizerischen Investor innerhalb der Schranken von Art. 33 Abs. 1 lit. a DBG (SR 642.11) steuermindernd zu berücksichtigen. Am 4. August 2004 stimmte die ESTV dem Antrag zu. B. In den Steuererklärungen 2006 und 2007 deklarierte das Ehepaar A._ und B._ ein steuerbares Einkommen von Fr. 459'576.-- (2006) bzw. Fr. 544'450.-- (2007). Davon abweichend veranlagte das kantonale Steueramt die Pflichtigen für die direkte Bundessteuer am 5. März 2013 mit einem Einkommen von Fr. 506'100.-- (2006) bzw. Fr. 604'400.-- (2007). Dabei liess es insbesondere die von den Steuerpflichtigen im Zusammenhang mit einer Beteiligung an der australischen Limited Partnership steuermindernd geltend gemachten Schuldzinsen in der Höhe von Fr. 29'905.-- (2006) bzw. Fr. 52'051.-- (2007) nicht zum Abzug zu. Die hiergegen erhobene Einsprache wies das kantonale Steueramt am 23. April 2013 ab. C. Das Steuerrekursgericht des Kantons Zürich bestätigte mit Urteil vom 27. September 2013 diesen Entscheid. Das Verwaltungsgericht des Kantons Zürich wies mit Urteil vom 2. April 2014 die von den Steuerpflichtigen dagegen erhobene Beschwerde ab. Es erwog, das am 3./4. August 2004 bei der Eidgenössischen Steuerverwaltung eingeholte "Ruling" sei für die kantonale Steuerbehörde, welche für die Veranlagung der direkten Bundessteuer zuständig sei, nicht bindend. Sodann sei die Abzugsfähigkeit der streitbetroffenen Schuldzinsen vom Bundesgericht in einem Parallelfall verneint worden. D. A._ und B._ erheben mit Eingabe vom 28. Mai 2014 Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen, der Schuldzinsenabzug in Höhe von Fr. 29'905.-- (2006) bzw. Fr. 52'051.-- (2007) sei zu gewähren. Das Verwaltungsgericht und das Steueramt des Kantons Zürich sowie die Eidgenössische Steuerverwaltung beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Die Beschwerdeführer halten mit Eingaben vom 25. September 2014 und 29. Oktober 2014 an ihrem Antrag fest.