Sachverhalt: A. Y._ und X._ haben ihre bestehende Arztpraxis an der C._strasse 66 in Basel mittels Zweckentfremdung einer 4-Zimmerwohnung an der C._strasse 64 erweitert. Das Bauinspektorat lehnte ein von Y._ und X._ für die Erweiterung der Arztpraxis bzw. die Zweckentfremdung der 4-Zimmerwohnung nachträglich eingereichtes Baugesuch mit vereinfachtem Bauentscheid vom 3. September 2009 ab und verlangte, dass die zweckentfremdete Wohnung wieder Wohnzwecken zugeführt wird. Die Baurekurskommission des Kantons Basel-Stadt hiess einen von Y._ und X._ gegen den abweisenden Entscheid des Bauinspektorats erhobenen Rekurs am 24. März 2010 gut. Gleichzeitig wies sie die Sache "zur Erteilung der Bewilligung" an das Bauinspektorat zurück. B. In der Folge kam das Bauinspektorat zum Schluss, das Baubegehren müsse zur Gewährung eines rechtstaatlich korrekten Verfahrens vor Erteilung der Bewilligung zwingend im Kantonsblatt publiziert werden, was am 9. Juni 2010 geschah. Gegen das publizierte Baubegehren erhoben A.A._ und B.A._, die Eltern von Y._, Einsprache. A.A._ und B.A._ wohnen als Stockwerkeigentümer in der streitbezogenen Liegenschaft. Das Bauinspektorat wies ihre Einsprache am 26. Oktober 2010 ab und erteilte gleichzeitig die Bewilligung für die Erweiterung der Arztpraxis bzw. die Zweckentfremdung der 4-Zimmerwohnung. Einen von A.A._ und B.A._ gegen die Erteilung der Bewilligung erhobenen Rekurs hiess die Baurekurskommission mit Entscheid vom 23. Februar 2011 gut. Sie wies das Baubegehren ab und verfügte, dass die von der Zweckentfremdung betroffene Wohnung bis zum 31. Dezember 2012 wieder als Wohnung einzurichten und danach wieder Wohnzwecken zuzuführen ist. Den von Y._ und X._ gegen den Entscheid der Baurekurskommission vom 23. Februar 2011 erhobenen Rekurs wies das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht mit Urteil vom 15. Februar 2012 ab. C. Gegen den Entscheid des Appellationsgerichts vom 15. Februar 2012 haben Y._ und X._ am 26. März 2012 (Postaufgabe: 28. März 2012) Beschwerde ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und der Bauentscheid des Bauinspektorats vom 26. Oktober 2010 zu bestätigen. Eventualiter sei die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen. Die Beschwerdegegner beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werde. Die Vorinstanz beantragt die Abweisung der Beschwerde. Die Baurekurskommission liess sich nicht vernehmen. Mit weiteren Eingaben halten die Beschwerdeführer und die Beschwerdegegner an ihren Anträgen fest.