Sachverhalt: A. Mit Beschluss vom 14. Dezember 2009 erteilte die Baukommission Kilchberg C._ und D._ die baurechtliche Bewilligung für den Um- und Anbau eines Wohnhauses sowie die Erstellung von zwei Aussenabstellplätzen auf dem Grundstück Kat.-Nr. 2588 an der X._strassee in Kilchberg. Gegen diesen Beschluss erhoben A._ und B._, Eigentümer des sich schräg gegenüber dem Baugrundstück befindlichen Grundstücks Kat. Nr. 2590, am 20. Januar 2010 Rekurs an die Baurekurskommission II des Kantons Zürich. Diese sistierte das Rekursverfahren, weil das Verwaltungsgericht des Kantons Zürich gleichzeitig über eine Beschwerde der Rekurrierenden betreffend die Einleitung eines Teilquartierplanverfahrens zu befinden hatte und eine präjudizielle Wirkung dieses Entscheids nicht auszuschliessen war. Nachdem das Verwaltungsgericht die Beschwerde mit Entscheid vom 25. Februar 2010 abgewiesen hatte, wurde das Rekursverfahren auf Antrag der Rekurrierenden fortgesetzt. Mit Entscheid vom 15. Juni 2010 wies die Baurekurskommission II den Rekurs ab, soweit das Verfahren nicht wegen Rückzugs des Rekurses als erledigt abgeschrieben wurde. Die von A._ und B._ gegen diesen Entscheid eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Entscheid vom 3. November 2010 ab. B. A._ und B._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht mit dem Antrag, der Entscheid des Verwaltungsgerichts sei aufzuheben. Das Verwaltungsgericht beantragt, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Die Baukommission Kilchberg stellt Antrag auf Beschwerdeabweisung. C._ und D._ beantragen, auf die Beschwerde sei nicht einzutreten; eventuell sei die Beschwerde abzuweisen.