Sachverhalt:
A. A und B X._ ersuchten am 12. Juli 2004 um eine Bewilligung für bauliche Veränderungen an der Liegenschaft Y._strasse in Basel. Sie planten den Umbau des Dachgeschosses, die Eindeckung des Daches mit blauen Biberschwanzziegeln, die Installation einer Fotovoltaikanlage sowie den Einbau von drei Dachfenstern auf der Gartenseite.
Mit Zwischenbericht vom 20. August 2004 teilte das Bauinspektorat des Kantons Basel-Stadt A X._ mit, dass der Ersatz der bestehenden Ziegel durch blaue Biberschwanzziegel sowie eine Gruppe von drei Dachfenstern aus Sicht der Stadtbildkommission nicht möglich sei. Im Übrigen wurde festgehalten, dass in den Plandarstellungen "Fassaden sowie Schnitt" gewisse Zeichnungen wie Dachaufbau, Schnitt, Fenstergrösse nicht übereinstimmten und nicht alle baulichen Massnahmen eindeutig ablesbar seien. Das Bauinspektorat forderte A X._ auf, bis am 18. November 2004 ein überarbeitetes Baugesuch zu erstatten. Am 6. September 2004 reichten A und B X._ ein revidiertes Gesuch mit Detailplänen und verschiedenen Varianten ein. Mit Schreiben vom 13. September 2004 hielt A X._ das Ergebnis einer Besprechung mit der Stadtbildkommission fest und bestätigte den Verzicht auf die Dacheindeckung mit blauen Ziegeln sowie den Einbau von zwei statt drei Dachfenstern. Mit Zwischenbericht 2 vom 27. September 2004 forderte das Bauinspektorat A X._ auf, den Vorgaben der Stadtbildkommission entsprechende, abgeänderte Pläne bis am 27. Dezember 2004 einzureichen. Mit Eingaben vom 14. Oktober und 2. November 2004 kamen A und B X._ dieser Aufforderung nach. Am 5. November 2004 erging ein vereinfachter Bauentscheid. Bewilligt wurden damit zwei Dachflächenfenster, der Umbau des Dachgeschosses sowie der Einbau einer westseitigen Fotovoltaikanlage. In Ziff. 14/15 des Bauentscheids verfügte das Bauinspektorat, dass gemäss der Eingabe vom 13. September 2004 und den Planskizzen vom 14. Oktober 2004 zu bauen sei; das Solardach müsse als dachbündige Indachmontage ausgeführt werden. Dabei stempelte das Bauinspektorat den Querschnittplan vom 18. Juli 2004, einen Plan vom 13. September/14. Oktober 2004, einen Plan vom 6./14. Oktober 2004, einen undatierten Grundrissplan sowie einen vom 14. August 1981/21. Juli 2004 datierten Plan über die Zonenzugehörigkeit als "gültig" ab. Sämtliche anderen Pläne wurden hingegen als "ungültig" abgestempelt, darunter auch die Pläne vom 3./4. resp. 18. Juli 2004, die einen Dachausstieg und ein Geländer vorsahen.
In der Folge erstellten A und B X._ auf der Westseite des Daches eine Fotovoltaikanlage sowie zwei Dachfenster mit einem Ausstieg auf das Dach der Dachgaube. Diese umfassten sie mit einem Geländer aus Glas. Sodann liessen sie auf der Ostseite des Daches eine grosse dachbündige Fotovoltaikanlage einbauen. Am 27. September 2006 verfügte das Bauinspektorat die Baufreigabe.
B. Mit Schreiben vom 26. Oktober 2006 setzte das Bauinspektorat aufgrund der zwischenzeitlich festgestellten Diskrepanz zwischen Bewilligtem und Ausgeführtem Frist zur Einreichung eines Baubegehrens, um ein nachträgliches Baubewilligungsverfahren durchzuführen. Mit Entscheid vom 17. April 2007 wies das Bauinspektorat das nachträgliche Baubegehren vom 27. November 2006 ab und verfügte den Rückbau des Dachausstieges mit Geländer auf den 31. Oktober 2007 ebenso wie die Modifikation der ostseitigen Fotovoltaikanlage. Dagegen gelangten A und B X._ an die Baurekurskommission des Kantons Basel-Stadt, welche mit Entscheid vom 25. September 2007 den Rekurs teilweise guthiess. Sie entschied, dass die Fotovoltaikanlage auf der Ostseite des Daches bestehen bleiben könne, hingegen sei der Dachausstieg mit Geländer bis zum 28. Februar 2009 zurückzubauen.
C. Gegen diesen Beschluss rekurrierten A und B X._ am 11. Juli 2008 an das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht. Dieses wies den Rekurs mit Entscheid vom 27. März 2009 ab.
D. Gegen diesen Entscheid führen A und B X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten sowie subsidiäre Verfassungsbeschwerde. Sie beantragen im Wesentlichen, die Freigabe des Bauentscheids vom 5. November 2004 durch die von den zuständigen Behörde vorgenommene Abnahme des Objekts sei als rechtsgültig zu bestätigen. Die "durch arglistige Nötigung zustande gekommene" nachträgliche Baubewilligung vom 17. April 2007 sei als rechtswidrig aus dem Recht zu weisen. Es sei zu ermitteln, wer aus welchen Motiven das Schreiben vom 26. Oktober 2006 veranlasst habe, in dem verlangt werde, dass der Dachausstieg, das Geländer und die gesamte Fotovoltaikanlage innerhalb eines Monats zu entfernen seien. Gegen den oder die Täter sei ein Verfahren einzuleiten wegen Amtsanmassung, Nötigung und Willkür. Die Stadtbildkommission sei abzuschaffen. Schliesslich sei das Verwaltungsgericht als Willkürgericht zu qualifizieren.
Das Appellationsgericht Basel-Stadt stellt den Antrag, die Beschwerde sei abzuweisen. Die Baurekurskommission hat auf eine Stellungnahme verzichtet.

Erwägungen:
1. 1.1 Angefochten ist ein kantonal letztinstanzlicher Entscheid (Art. 86 Abs. 1 lit. d BGG), der in einer Bausache und damit in einer öffentlich-rechtlichen Angelegenheit im Sinne von Art. 82 lit. a BGG ergangen ist. Ein Ausschlussgrund nach Art. 83 BGG besteht nicht. Das als "Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde" bezeichnete Rechtsmittel ist somit als Beschwerde in öffentlich-rechtlichen Angelegenheiten entgegenzunehmen.
1.2 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (Art. 89 Abs. 1 BGG). Verlangt ist somit neben der formellen Beschwer (Art. 89 Abs. 1 lit. a BGG), dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt (Art. 89 Abs. 1 lit. b BGG) und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht (Art. 89 Abs. 1 lit. c BGG; <ref-ruling> E. 3 S. 356 f. sowie 400 E. 2.2 S. 404 f.). Diese Voraussetzungen sind sowohl bei der Beschwerdeführerin als Baugesuchsstellerin und Miteigentümerin der fraglichen Liegenschaft als auch beim Beschwerdeführer gegeben, zumal dieser schon im Baubewilligungsverfahren als verantwortliche Fachperson aufgetreten ist. Entgegen der Auffassung des Beschwerdeführers spielt es somit keine Rolle, dass er nicht - wie die Vorinstanz irrtümlich angenommen hat - (Mit-) Eigentümer der fraglichen Liegenschaft ist. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist - vorbehältlich der Ausführungen in E. 1.3-1.9 sowie E. 2-6 hiernach - grundsätzlich auf die Beschwerde einzutreten.
1.3 Der angefochtene Entscheid stützt sich in der Sache auf kantonales Planungs- und Baurecht. Da dessen Verletzung keinen Beschwerdegrund nach Art. 95 BGG darstellt, kann der Entscheid nur darauf überprüft werden, ob er auf willkürlicher Gesetzesanwendung beruht oder sonstwie gegen übergeordnetes Recht verstösst (vgl. <ref-ruling> E. 1.2.1 S. 251 f.).
1.4 Nach Art. 42 Abs. 2 BGG ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich die Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen. Genügt die Beschwerdeschrift diesen Begründungsanforderungen nicht, so ist darauf nicht einzutreten. Zwar wendet das Bundesgericht das Recht grundsätzlich von Amtes wegen an (Art. 106 Abs. 1 BGG); dies setzt aber voraus, dass auf die Beschwerde überhaupt eingetreten werden kann, diese also wenigstens die minimalen Begründungsanforderungen von Art. 42 Abs. 2 BGG erfüllt. Strengere Anforderungen gelten, wenn die Verletzung von Grundrechten geltend gemacht wird. Dies prüft das Bundesgericht nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Für derartige Rügen gelten die gleichen Begründungsanforderungen, wie sie gestützt auf Art. 90 Abs. 1 lit. b OG für die staatsrechtliche Beschwerde gegolten haben (<ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
Die vorliegende Beschwerdeschrift vermag den Begründungserfordernissen indessen nur in begrenztem Ausmass zu genügen. In ihrer weitschweifigen Eingabe beschränken sich die Beschwerdeführer weitgehend darauf, die schon vor den kantonalen Instanzen vorgebrachten Argumente (nur wenig substantiiert und weitgehend appellatorisch) so zu wiederholen, dass dem Urteil des Verwaltungsgerichts bloss ein weiteres Mal die eigene Sichtweise entgegengehalten wird. Nur ganz am Rande nehmen die Beschwerdeführer zu den Erwägungen des Verwaltungsgerichts kurz Stellung, so dass ansatzweise ersichtlich wird, was sie beanstanden. Angesichts des Umstandes, dass es sich um eine von Laien abgefasste Beschwerdeschrift handelt, erfüllt diese jedoch die Anforderungen von Art. 42 Abs. 2 BGG gerade noch knapp (wie erwähnt vorbehältlich der nachfolgenden Einschränkungen).
1.5 Im Streit liegt hier wie im kantonalen Verfahren die Frage, ob die Verweigerung der Bewilligung für den Dachausstieg und die Dachterrasse mit Geländer sowie deren Entfernung und Rückbau vor kantonalem/kommunalem bzw. eidgenössischem Recht standhalten. Soweit die Beschwerdeführer im Verfahren vor Bundesgericht Fragen aufwerfen und Anträge stellen, welche ausserhalb des Prozessgegenstandes liegen, ist darauf nicht einzutreten.
Dies gilt vorab für den Antrag der Beschwerdeführer, die Stadtbildkommission sei als "amtsanmassende Willkürkommission" abzuschaffen. Gleiches gilt für den Antrag, es sei zu ermitteln, wer aus welchen Motiven das Schreiben vom 26. Oktober 2006 veranlasst habe, in dem verlangt werde, dass der Dachausstieg, das Geländer und die gesamte Fotovoltaikanlage innerhalb eines Monats zu entfernen seien. Ebenso ist auf den Antrag nicht einzutreten, gegen den oder die Täter sei ein Verfahren einzuleiten wegen Amtsanmassung, Nötigung und Willkür.
1.6 Soweit sich die Beschwerdeführer darauf beschränken zu behaupten, der hier massgebende Streitgegenstand umfasse auch die Fotovoltaikanlage, haben sie es unterlassen darzulegen, inwiefern die vorinstanzliche Begründung Recht verletzen soll. Insoweit erwog das Appellationsgericht, dass nicht der Bauentscheid vom 5. November 2004 Anfechtungsobjekt des verwaltungsgerichtlichen Verfahrens sei, sondern nur der nachträgliche Bauentscheid vom 17. April 2007; in diesem sei aber die Frage, ob die Anlage auf das Dach aufgesetzt oder eingelassen, also dachbündig zu erstellen sei, nicht mehr zur Debatte gestanden, weil die Anlage zu diesem Zeitpunkt bereits dachbündig ausgeführt gewesen sei. Da die insoweit vorgebrachten Ausführungen keine hinreichende Auseinandersetzung mit den Erwägungen des angefochtenen Urteils darstellen, ist mangels einer genügenden Begründung im Sinne von Art. 42 Abs. 2 BGG auf die Beschwerde in diesem Punkt nicht einzutreten.
1.7 Ferner beantragen die Beschwerdeführer, die "durch arglistige Nötigung" zustande gekommene nachträgliche Baubewilligung vom 17. April 2007 sei als rechtswidrig aus dem Recht zu weisen. Dieser Antrag ist unzulässig, da der erstinstanzliche Entscheid des Bauinspektorats durch das Urteil des Verwaltungsgerichts ersetzt worden ist (Devolutiveffekt) und als inhaltlich mitangefochten gilt (<ref-ruling> E. 1.4 S. 144; <ref-ruling> E. 1 S. 441 mit Hinweisen).
1.8 Die Beschwerdeführer reichen vor Bundesgericht neue Fotografien ein, auf denen die streitbezogene Liegenschaft mit den fraglichen Dachaufbauten, die Aussicht von der Dachterrasse, weitere Dachaufbauten sowie Ansichten weiterer Dachterrassen mit Geländer in Basel zu sehen sind.
Gemäss Art. 99 Abs. 1 BGG dürfen neue Tatsachen und Beweismittel vor Bundesgericht nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. Es mag dahingestellt bleiben, ob die neu eingereichten Fotografien zulässige Beweismittel im Sinne dieser Bestimmung bilden, denn sie vermögen ohnehin nichts am Ausgang des Verfahrens zu ändern.
1.9 Nach Art. 105 BGG ist der von der Vorinstanz festgestellte Sachverhalt für das Bundesgericht verbindlich (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2; s. in diesem Zusammenhang etwa <ref-ruling> E. 1.4.3 S. 254 f.).
Der rechtserhebliche Sachverhalt ergibt sich mit hinreichender Klarheit aus dem angefochtenen Urteil. Soweit die Beschwerdeführer Ausführungen zum Sachverhalt machen, ohne im Einzelnen darzulegen, inwiefern der vom Verwaltungsgericht festgestellte Sachverhalt offensichtlich unrichtig oder ergänzungsbedürftig sein soll, ist auf die Beschwerde somit nicht einzutreten. Dies gilt insbesondere auch in Bezug auf ihr pauschales Ansinnen, eine unabhängige Fachperson habe alle eingereichten Planskizzen auf ihre Korrektheit und auf ihren Aussageinhalt hin zu überprüfen.
2. Die Beschwerdeführer halten sodann dafür, das Verwaltungsgericht sei als "Willkürgericht" zu qualifizieren.
Auch die damit allenfalls sinngemäss erhobene Befangenheitsrüge ist mangels Substantiierung nicht einzutreten (Art. 106 BGG). Mit der von den Beschwerdeführern insoweit vorgetragenen Kritik am Verwaltungsgericht (dieses sei ein Willkürgericht, parteiergreifend, korrupt u.a.m), die zumindest teilweise geeignet ist, die prozessualen Anstandsregeln zu verletzen (vgl. Art. 33 BGG), ist die Rüge nicht rechtsgenüglich zu begründen.
3. 3.1 Die Beschwerdeführer rügen eine "willkürliche Verfälschung des Sachverhalts" in Bezug auf die Gültigkeit der eingereichten Pläne.
3.2 Das Verwaltungsgericht hat erwogen, dass der Dachausstieg und die Dachterrasse mit dem Geländer bisher nicht bewilligt worden seien. Entscheidend sei, dass das Bauinspektorat mit dem Anbringen der Stempelung "bewilligt" bzw. "ungültig" unmissverständlich geklärt habe, was es mit dem Bauentscheid vom 5. November 2004 bewilligt habe und was nicht. Klar sei sowohl beim Plan der Dachaufsicht als auch beim Plan des Dachgeschosses, dass diese keinen Ausstieg enthalten würden, so dass auch aus der Bedeckung des Daches der Dachgaube mit Platten nicht auf eine Terrasse geschlossen werden könne.
3.3 Die Beschwerdeführer wenden ein, dass alle eingereichten und erforderlichen Planskizzen, ausser der nachgereichten Ergänzungsskizze, willkürlich mit einem Ungültigkeitsstempel versehen worden seien. Daher habe die Stempelung keinerlei Orientierung und Vertrauen geschaffen, weshalb die willkürlichen Abstempelungen mit Recht als Fehlleistungen zu ignorieren gewesen seien. Entsprechend seien die eingereichten Planskizzen sowie die schriftlichen Absprachen und Auflagen massgebend gewesen. Sowohl die Fotovoltaikanlagen auf dem West- und Ostdach als auch der Dachausstieg und das Geländer seien somit als bewilligt zu beurteilen.
3.4 Die Vorbringen der Beschwerdeführer sind nicht geeignet, eine Verfassungsverletzung darzutun. Das Verwaltungsgericht hat ausführlich dargelegt, welche der eingereichten Pläne genehmigt und damit Bestandteil der Baubewilligung vom 5. November 2004 wurden. Die Beschwerdeführer anerkennen, dass die Pläne, welche einen Dachausstieg aufweisen, vom Bauinspektorat als ungültig abgestempelt wurden. Es reicht nicht aus, wenn sie die Ungültigstempelung pauschal als "schwachsinnig und willkürlich" bezeichnen, um die vom Verwaltungsgericht bejahte Ungültigkeit zu entkräften, ohne dabei im Einzelnen eine willkürliche Anwendung der massgebenden kantonalen Normen oder eine Verfassungswidrigkeit aufzuzeigen. Auch auf diese Rüge ist daher nicht einzutreten (vgl. vorstehende E. 1.4).
4. 4.1 Die Beschwerdeführer machen weiter sinngemäss eine willkürliche Anwendung der Ästhetikbestimmungen des baselstädtischen Bau- und Planungsgesetzes geltend.
4.2 Gemäss dem angefochtenen Entscheid ist die nachträgliche Bewilligung für den Dachausstieg und die Dachterrasse mit Geländer in Anwendung von § 58 des baselstädtischen Bau- und Planungsgesetzes vom 17. November 1999 (BPG) zu Recht verweigert worden. Nach dieser Bestimmung sind Bauten, Anlagen, Aufschriften und Bemalungen mit Bezug auf die Umgebung so zu gestalten, dass eine gute Gesamtwirkung entsteht. Mit Blick darauf beurteilte das Verwaltungsgericht die Gesamtwirkung der ausgeführten Dachgaube mit Geländer nicht nur als nicht gut, sondern als ausgesprochen schlecht. Gestützt auf den vor Ort durchgeführten Augenschein teilte das Verwaltungsgericht die Einschätzung der unteren Instanz, wonach aus typologischer Sicht ein zusätzliches Geländer auf einer Dachgaube nicht möglich sei; es handle sich um architektonischen Unsinn und wirke als fremdes und störendes Element.
4.3 Nach Art. 9 BV hat jede Person Anspruch darauf, von den staatlichen Organen ohne Willkür behandelt zu werden. Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 5.4 S. 148; <ref-ruling> E. 5.1 S. 17 f.; <ref-ruling> E. 3.1 S. 473 f.; je mit Hinweisen). Nach der Rechtsprechung steht der Baubewilligungsbehörde bei der Auslegung und Handhabung von Ästhetikklauseln regelmässig ein besonderer Ermessensspielraum zu, der im Rechtsmittelverfahren zu beachten ist. Erweist sich die ästhetische Würdigung im Rahmen der geltenden Zonenordnung als vertretbar, so darf die Rechtsmittelinstanz nicht mit einer abweichenden Würdigung in das Ermessen der Baubewilligungsbehörde eingreifen (Urteil 1P.678/2004 vom 21. Juni 2005 E. 4, publiziert in ZBl 107/2006 S. 430).
4.4 Zwar trifft es - wie die Beschwerdeführer zu Recht geltend machen - zu, dass bei der Beurteilung der Ästhetik von Bauvorhaben zwangsläufig persönliche Anschauungen und subjektive Empfindungen mitspielen. Die Einschätzung des Verwaltungsgerichts basiert indessen aufgrund der am Augenschein vor Ort gewonnenen Erkenntnisse und deckt sich mit der von der Stadtbildkommission als Fachbehörde vorgenommenen Beurteilung. Das Verwaltungsgericht erachtete das Geländer und den Dachausstieg als orts- und typenfremde Elemente im Strassenzug, die im Wortsinne aufgesetzt wirken würden. Diese Ausführungen lassen keine Willkür erkennen. Die Beschwerdeführer legen nicht dar und es ist auch nicht ersichtlich, inwiefern die Beurteilung des Verwaltungsgerichts nicht auf einer vollständigen und richtigen Berücksichtigung der massgeblichen Sachumstände beruht. Die Rüge der willkürlichen Anwendung von § 58 BPG erweist sich damit als unbegründet.
4.5 Die Vorbringen der Beschwerdeführer hinsichtlich der Notwendigkeit des Dachausstiegs zur Reinigung des Kamins des neuen Heiz-Cheminées stellen wiederum bloss appellatorische Kritik dar. Dies genügt indessen - wie schon ausgeführt - nicht, um eine willkürliche Anwendung der kantonalen Normen oder eine Verfassungsverletzung aufzuzeigen (s. vorstehende E. 1.4).
5. Soweit die Beschwerdeführer eine Verletzung des Vertrauensschutzes rügen, ist nicht einzusehen, inwiefern das Verwaltungsgericht diesbezüglich bundesrechtswidrig gehandelt haben soll. Gemäss den dem angefochtenen Urteil zugrunde liegenden Erwägungen konnten die als "ungültig" gestempelten Pläne von vornherein kein Vertrauen begründen; dies auch darum, weil die Beschwerdeführer die Gelegenheit nicht ergriffen hätten, den der Ungültigerklärung zugrunde liegenden Bauentscheid vom 5. November 2004 anzufechten. Auch die am 26. Oktober 2006 erfolgte Bauabnahme begründe keinen Vertrauensschutz, weil die Beschwerdeführer gestützt auf diese keine Dispositionen getroffen hätten. Zudem habe sich am Augenschein gezeigt, dass die Ausführung des Projekts noch im Gange sei und von einer Bauvollendung nicht gesprochen werden könne. Wenn die Beschwerdeführer also unzutreffenderweise die Bauvollendung gemeldet und damit das Bauinspektorat in die Irre geführt hätten, so erscheine die nachträgliche Berufung darauf als rechtsmissbräuchlich. Diese Würdigung erweist sich als verfassungskonform; der gegenteiligen Auffassung der Beschwerdeführer kann nicht gefolgt werden, soweit ihre Rüge überhaupt als rechtsgenüglich begründet erachtet werden kann.
6. 6.1 Das Verwaltungsgericht prüfte sodann die Verhältnismässigkeit der angeordneten Wiederherstellung des rechtmässigen Zustands. Dazu hielt es ausdrücklich fest, aufgrund der Tatsache, dass die Architektur des neuen Dachausbaus jegliche Rücksichtnahme auf die bestehende bauliche Struktur vermissen lasse, könne nicht von einer bloss geringfügigen Missachtung von § 58 BPG gesprochen werden. Weiter könnten die Beschwerdeführer nicht als gutgläubig gelten; von einer Person, die im Baubewilligungsverfahren sowohl als Gesuchstellerin als auch als verantwortliche Fachperson auftrete, könne erwartet werden, dass sie ihre Bauvorhaben gemäss "gültig" und "ungültig" gestempelten Plänen ausführe und bei allfälligen Unklarheiten Rücksprache mit dem Bauinspektorat nehme. Die Beschwerdeführer hätten die zu erwartenden Kosten nicht substantiiert. Einen allzu gewaltigen Umfang würden diese Kosten allerdings nicht annehmen. Diesem finanziellen Interesse der Beschwerdeführer stehe das öffentliche Interesse an der gesetzeskonformen Ausführung der Baute entgegen. Dabei sei namentlich zu berücksichtigen, dass nicht eine leichte Abweichung von der gesetzlichen Vorschrift zu beurteilen sei, sondern dass die Ausführung jegliche Rücksichtnahme auf die bauliche Struktur vermissen lasse. Damit sei festzustellen, dass die öffentlichen Interessen am Rückbau des Dachausstiegs und des Geländers das private Interesse der Beschwerdeführer überwiegen würden.
6.2 Auf den Grundsatz der Verhältnismässigkeit kann sich auch ein Betroffener berufen, der nicht gutgläubig gehandelt hat. Er muss aber in Kauf nehmen, dass die Behörden aus grundsätzlichen Erwägungen, so zum Schutz der Rechtsgleichheit und der baulichen Ordnung, dem Interesse an der Wiederherstellung des gesetzmässigen Zustands erhöhtes Gewicht beimessen und die dem Betroffenen allenfalls erwachsenden Nachteile nicht oder nur in verringertem Masse berücksichtigen (<ref-ruling> E. 6.4 S. 39 f. mit Hinweis).
6.3 Soweit die Beschwerdeführer bestreiten, bösgläubig gehandelt zu haben, lassen sie es bei einer appellatorischen Kritik am vorinstanzlichen Urteil bewenden und bringen sie nichts vor, was geeignet wäre, die verwaltungsgerichtlichen Erwägungen verfassungswidrig erscheinen zu lassen. Darauf ist nicht einzutreten (oben E. 1.4).
6.4 Wenn das Verwaltungsgericht und seine Vorinstanzen in Anbetracht der massiven Abweichung von den gesetzlichen Vorschriften auf dem Rückbau des Geländers und des Dachausstieges bestehen, liegt darin weder Willkür noch eine sonstwie bundesrechtswidrige Anwendung des kantonalen Rechts. Die diesbezüglichen Rügen der Beschwerdeführer erweisen sich, soweit überhaupt auf sie einzutreten ist, als unbegründet.
7. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten (Art. 65 f. Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Beschwerdeführern, der Baurekurskommission sowie dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 1. Februar 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Bopp