Sachverhalt:
A. Y._ und X._ haben ihre bestehende Arztpraxis an der C._strasse 66 in Basel mittels Zweckentfremdung einer 4-Zimmerwohnung an der C._strasse 64 erweitert. Das Bauinspektorat lehnte ein von Y._ und X._ für die Erweiterung der Arztpraxis bzw. die Zweckentfremdung der 4-Zimmerwohnung nachträglich eingereichtes Baugesuch mit vereinfachtem Bauentscheid vom 3. September 2009 ab und verlangte, dass die zweckentfremdete Wohnung wieder Wohnzwecken zugeführt wird. Die Baurekurskommission des Kantons Basel-Stadt hiess einen von Y._ und X._ gegen den abweisenden Entscheid des Bauinspektorats erhobenen Rekurs am 24. März 2010 gut. Gleichzeitig wies sie die Sache "zur Erteilung der Bewilligung" an das Bauinspektorat zurück.
B. In der Folge kam das Bauinspektorat zum Schluss, das Baubegehren müsse zur Gewährung eines rechtstaatlich korrekten Verfahrens vor Erteilung der Bewilligung zwingend im Kantonsblatt publiziert werden, was am 9. Juni 2010 geschah. Gegen das publizierte Baubegehren erhoben A.A._ und B.A._, die Eltern von Y._, Einsprache. A.A._ und B.A._ wohnen als Stockwerkeigentümer in der streitbezogenen Liegenschaft. Das Bauinspektorat wies ihre Einsprache am 26. Oktober 2010 ab und erteilte gleichzeitig die Bewilligung für die Erweiterung der Arztpraxis bzw. die Zweckentfremdung der 4-Zimmerwohnung. Einen von A.A._ und B.A._ gegen die Erteilung der Bewilligung erhobenen Rekurs hiess die Baurekurskommission mit Entscheid vom 23. Februar 2011 gut. Sie wies das Baubegehren ab und verfügte, dass die von der Zweckentfremdung betroffene Wohnung bis zum 31. Dezember 2012 wieder als Wohnung einzurichten und danach wieder Wohnzwecken zuzuführen ist. Den von Y._ und X._ gegen den Entscheid der Baurekurskommission vom 23. Februar 2011 erhobenen Rekurs wies das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht mit Urteil vom 15. Februar 2012 ab.
C. Gegen den Entscheid des Appellationsgerichts vom 15. Februar 2012 haben Y._ und X._ am 26. März 2012 (Postaufgabe: 28. März 2012) Beschwerde ans Bundesgericht erhoben. Sie beantragen, der angefochtene Entscheid sei aufzuheben und der Bauentscheid des Bauinspektorats vom 26. Oktober 2010 zu bestätigen. Eventualiter sei die Sache zu neuem Entscheid an die Vorinstanz zurückzuweisen. Die Beschwerdegegner beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werde. Die Vorinstanz beantragt die Abweisung der Beschwerde. Die Baurekurskommission liess sich nicht vernehmen. Mit weiteren Eingaben halten die Beschwerdeführer und die Beschwerdegegner an ihren Anträgen fest.

Erwägungen:
1. Beim angefochtenen Urteil, mit welchem das Appellationsgericht einen Rekurs gegen die Verweigerung eines nachträglichen Baubegehrens abwies, handelt es sich um einen letztinstanzlichen kantonalen Endentscheid in einer öffentlich-rechtlichen Angelegenheit, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht grundsätzlich zulässig ist (vgl. Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Abs. 2 sowie Art. 90 BGG). Die Beschwerdeführer sind als Adressaten des angefochtenen Entscheids und als Baugesuchsteller zur Beschwerde legitimiert (vgl. <ref-law>). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist grundsätzlich einzutreten.
2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Von der beschwerdeführenden Person kann die Feststellung des Sachverhalts wiederum nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich (<ref-law>) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Eine entsprechende Rüge ist substanziiert vorzubringen (<ref-law> i.V.m. <ref-law>).
3. Die Vorinstanz kam im angefochtenen Entscheid zum Schluss, die Beschwerdeführer hätten im Verfahren vor der Baurekurskommission gegen ein am Entscheid beteiligtes Kommissionsmitglied ein Ausstandsbegehren gestellt, welches unter den gegebenen Umständen nicht als verspätet betrachtet werden dürfe (vgl. E. 2.3 des angefochtenen Entscheids). Darin, dass die Baurekurskommission dieses Begehren in ihrem Entscheid nicht behandelte, erblickte die Vorinstanz eine Verletzung des Anspruchs der Beschwerdeführer auf rechtliches Gehör (<ref-law>). Sie betrachtete diese Verletzung indessen als im Rechtsmittelverfahren geheilt (vgl. E. 2.4 des angefochtenen Entscheids), was von den Beschwerdeführern (sinngemäss) als bundesrechtswidrig gerügt wird.
Grundsätzlich führt die Verletzung des rechtlichen Gehörs ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung des angefochtenen Entscheids (<ref-ruling> E. 2.2 S. 197 mit Hinweis). Eine nicht besonders schwerwiegende Verletzung des rechtlichen Gehörs kann aber ausnahmsweise als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Rechtsmittelinstanz zu äussern, die sowohl den Sachverhalt wie auch die Rechtslage frei überprüfen kann. Unter dieser Voraussetzung ist darüber hinaus - im Sinne einer Heilung des Mangels - selbst bei einer schwerwiegenden Verletzung des Anspruchs auf rechtliches Gehör von einer Rückweisung der Sache an die Vorinstanz abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (<ref-ruling> E. 2.3.2 S. 197 f. mit Hinweisen).
Die Beschwerdeführer hatten Gelegenheit, sich vor der Vorinstanz, welche den Sachverhalt wie auch die Rechtslage frei überprüfen konnte (vgl. § 8 des Gesetzes über die Verfassungs- und Verwaltungsrechtspflege des Kantons Basel-Stadt vom 14. Juni 1928), umfassend zur unterbliebenen Behandlung des Ausstandsbegehrens und zu den entsprechenden Stellungnahmen der Baurekurskommission an die Vorinstanz zu äussern. Unter diesen Umständen ist im Ergebnis nicht zu beanstanden, dass die Vorinstanz den von ihr festgestellten Gehörsmangel als im Rechtsmittelverfahren geheilt betrachtet hat.
4. Die Beschwerdeführer rügen eine Verletzung des Anspruchs auf ein unabhängiges und unparteiisches Gericht. Ein am Entscheid der Baurekurskommission vom 23. Februar 2011 beteiligtes, inzwischen verstorbenes Kommissionsmitglied sei ein enger Bekannter der Beschwerdegegner gewesen. Die Vorinstanz habe eine Verletzung von <ref-law> zu Unrecht verneint.
4.1 Unbestritten ist, dass sich ein Beschwerdegegner und das inzwischen verstorbene Kommissionsmitglied aus der Baubranche kannten und am Samstag Mittag je mit ihren Familien mindestens gelegentlich im gleichen Restaurant assen. Die Vorinstanz ging - gestützt auf die Aussagen der Beschwerdegegner und der Baurekurskommission - in tatsächlicher Hinsicht davon aus, dass zwischen den Beschwerdegegnern und dem betreffenden Kommissionsmitglied zwar eine Bekanntschaft, aber keine freundschaftliche Beziehung bestand. Für die von den Beschwerdeführern behauptete enge Beziehung bestünden keinerlei Beweise oder Indizien.
4.2 Die Beschwerdeführer machen geltend, die Vorinstanz habe den Sachverhalt nicht richtig festgestellt. Sie habe sich mit ihren tatsächlichen Vorbringen bezüglich der geltend gemachten Befangenheit des Kommissionsmitglieds ungenügend auseinandergesetzt und allein auf die Behauptungen der Beschwerdegegner bzw. der Baurekurskommission abgestützt, und damit <ref-law> verletzt. Die Beschwerdeführer sind der Ansicht, in diesem Zusammenhang wären von der Vorinstanz ihre Kinder zu befragen gewesen, weil das betreffende Kommissionsmitglied sogar ihren Kindern als diejenige Person bekannt sei, die mit den Beschwerdegegnern (nämlich den Grosseltern der Kinder) samstags regelmässig in einem Restaurant zusammengekommen sei.
Die Beschwerdeführer rügen damit eine Verletzung der Begründungspflicht, welche Bestandteil des Anspruchs auf rechtliches Gehör (<ref-law>) bildet. Diese Rüge erweist sich als unbegründet: Die grundsätzliche Pflicht der Behörde, ihren Entscheid zu begründen, bedeutet nicht, dass sie sich mit jeder tatbeständlichen Behauptung und jedem rechtlichen Einwand auseinandersetzen muss. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Der Bürger soll wissen, warum die Behörde entgegen seinem Antrag entschieden hat, damit er gegebenenfalls den Entscheid sachgerecht anfechten kann (<ref-ruling> E. 4.1; <ref-ruling> E. 3.1 S. 277; je mit Hinweisen). Diesen Anforderungen genügt der angefochtene Entscheid. Es ist auch nicht zu beanstanden, dass die Vorinstanz die Kinder der Beschwerdeführer nicht befragt hat, zumal die Beschwerdeführer ein entsprechendes ausdrückliches Begehren nicht gestellt haben und der Umstand, dass das betreffende Kommissionsmitglied und die Beschwerdegegner am Samstag Mittag mindestens gelegentlich im gleichen Restaurant assen, nicht umstritten ist. Die Beschwerdeführer schildern den Sachverhalt aus eigener Sicht. Sie rügen indessen nicht, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig bzw. willkürlich festgestellt. Dies ergibt sich auch nicht aus den Akten. Auch daraus, dass sich die Baurekurskommission im vorinstanzlichen Verfahren auf den Standpunkt gestellt hat, sie wäre ohne das Mitwirken des betreffenden Kommissionsmitglieds nicht beschlussfähig gewesen, lässt sich nicht ableiten, dass die vorinstanzliche Sachverhaltsfeststellung offensichtlich unrichtig wäre. In tatsächlicher Hinsicht ist somit auf die Feststellungen der Vorinstanz abzustellen (vgl. Art. 105 Abs. 1 und 2 i.V.m. <ref-law>).
4.3 Nach <ref-law> hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter entschieden wird. Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist (<ref-ruling> E. 2.2 S. 3 f.; <ref-ruling> E. 3.1 S. 210 mit Hinweisen).
Dass sich ein Beschwerdegegner und das betreffende Kommissionsmitglied aus der Baubranche kennen, vermag bei objektiver Betrachtung nicht den Anschein der Befangenheit zu begründen, sofern keine weiteren, konkreten Umstände auf mangelnde Unvoreingenommenheit schliessen lassen (vgl. auch <ref-law>, wonach Gerichtspersonen unter anderem in Ausstand treten, wenn sie wegen besonderer Freundschaft mit einer Partei oder ihrem Vertreter beziehungsweise ihrer Vertreterin befangen sein könnten). Wie die Vorinstanz für das Bundesgericht grundsätzlich verbindlich festgehalten hat, bestand zwischen dem Kommissionsmitglied und den Beschwerdegegnern keine freundschaftliche Beziehung. Dass das Kommissionsmitglied und die Beschwerdegegner am Samstag Mittag neben weiteren Gästen je mit ihren Familien gelegentlich im gleichen Restaurant assen, lässt ebenfalls nicht auf mangelnde Unvoreingenommenheit des Kommissionsmitglieds schliessen, zumal die Beschwerdegegner ausführen, sie hätten jeweils nicht am gleichen Tisch gesessen, was von den Beschwerdeführern vor Bundesgericht nicht bestritten wird. Unter diesen Umständen erweist sich die Rüge einer Verletzung von <ref-law> als unbegründet.
5. Die Beschwerdeführer bringen weiter vor, die Vorinstanz habe den Entscheid der Baurekurskommission vom 23. Februar 2011 inhaltlich geschützt, ohne den ersten Entscheid der Baurekurskommission vom 24. März 2010 zu thematisieren, der für sie noch positiv ausgefallen sei. Damit habe die Vorinstanz einen nicht angefochtenen, rechtskräftigen Entscheid ausser Acht gelassen. Dies stelle eine Verletzung des Willkürverbots (<ref-law>), der Eigentumsgarantie (<ref-law>) sowie der Wirtschaftsfreiheit (<ref-law>) dar.
5.1 Die Baurekurskommission hiess am 24. März 2010 einen von den Beschwerdeführern gegen den ersten (das Baubegehren abweisenden) Entscheid des Bauinspektorats erhobenen Rekurs gut und wies die Sache "zur Erteilung der Bewilligung" an das Bauinspektorat zurück. Dieser Entscheid blieb unangefochten und ist damit grundsätzlich rechtskräftig geworden. Allerdings können sich die Beschwerdeführer nicht auf eine rechtskräftig erteilte Baubewilligung berufen, zumal die Baurekurskommission die Bewilligung für das Baubegehren nicht selber erteilte, sondern die Sache "zur Erteilung der Bewilligung" an das Bauinspektorat zurückwies. Es ist im Ergebnis nicht zu beanstanden, dass das Bauinspektorat das Baubegehren in der Folge im Kantonsblatt ausschrieb und damit den betroffenen Nachbarn vor Erteilung der Baubewilligung Gelegenheit gab, Einsprache zu erheben. Dies weil die betroffenen Nachbarn und damit auch die heutigen Beschwerdegegner offenbar keine Gelegenheit hatten, am ersten Verfahren vor der Baurekurskommission teilzunehmen und ihnen auch der Entscheid vom 24. März 2010 nicht eröffnet worden ist. Damit konnten sich die Rechtswirkungen dieses Entscheids nicht auf die heutigen Beschwerdegegner erstrecken, was von den Beschwerdeführern grundsätzlich nicht bestritten wird.
5.2 Der in <ref-law> verankerte Grundsatz von Treu und Glauben verleiht einer Person Anspruch auf Schutz des berechtigten Vertrauens in behördliche Zusicherungen oder sonstiges, bestimmte Erwartungen begründendes Verhalten der Behörden. Vorausgesetzt ist, dass die Person, die sich auf Vertrauensschutz beruft, berechtigterweise auf diese Grundlage vertrauen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr rückgängig machen kann. Schliesslich scheitert die Berufung auf Treu und Glauben dann, wenn ihr überwiegende öffentliche Interessen gegenüberstehen (<ref-ruling> E. 6.1 mit Hinweisen).
Soweit in den Vorbringen der Beschwerdeführer (sinngemäss) die Rüge erblickt werden kann, die Vorinstanz habe den Grundsatz von Treu und Glauben verletzt, indem sie den Entscheid der Baurekurskommission vom 24. März 2010 nicht thematisiert habe, kann ihnen schon deshalb nicht gefolgt werden, weil nicht dargetan und nicht ersichtlich ist, dass sie gestützt auf diesen Entscheid nachteilige Dispositionen getroffen haben, die sie nicht mehr rückgängig machen können. Unter diesen Umständen können die Beschwerdeführer aus dem Entscheid der Baurekurskommission vom 24. März 2010 nichts zu ihren Gunsten ableiten, auch wenn er weder von der Baurekurskommission noch von der Vorinstanz förmlich aufgehoben worden ist. Unbehilflich ist damit auch die Rüge der Beschwerdeführer, die Nichtbeachtung des Entscheids vom 24. März 2010 verletze das Willkürverbot, die Eigentumsgarantie sowie die Wirtschaftsfreiheit.
5.3 Die Vorinstanz kam im angefochtenen Entscheid zum Schluss, das Baubegehren der Beschwerdeführer könne nach den anwendbaren kantonalen Bauvorschriften nicht bewilligt werden. Dass die Verweigerung der Baubewilligung an sich die Eigentumsgarantie oder die Wirtschaftsfreiheit unzulässigerweise einschränken oder die Vorinstanz in diesem Zusammenhang kantonales Recht willkürlich angewendet haben sollte, rügen und begründen die Beschwerdeführer nicht, weshalb auf die entsprechenden Ausführungen der Vorinstanz nicht einzugehen ist (vgl. Art. 106 Abs. 2 i.V.m. <ref-law>).
6. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (vgl. <ref-law>). Die Beschwerdeführer haben den Beschwerdegegnern für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Die Beschwerdeführer haben den privaten Beschwerdegegnern für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, der Baurekurskommission des Kantons Basel-Stadt und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 28. August 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Mattle