Sachverhalt:
A. X._ ersuchte die IV-Stelle Basel-Stadt am 10. Oktober 2006 um Vernichtung eines Arztberichts von Dr. med. O._, den dieser am 4. Januar 2002 der IV-Stelle Basel-Stadt erstattet hatte (im Folgenden "Bericht O._"). Eventualiter beantragte der Gesuchsteller das Anbringen von Bestreitungsvermerken hinsichtlich des Berichts O._.
Die IV-Stelle wies die Begehren mit Verfügung vom 19. April bzw. vom 26. April 2007 ab. Das Sozialversicherungsgericht Basel-Stadt trat auf einen Rekurs von X._ nicht ein. Dieser gelangte an das Wirtschafts- und Sozialdepartement Basel-Stadt (WSD). Dieses hiess den Rekurs am 20. Oktober 2008 teilweise gut. Es wies das Ersuchen um Vernichtung bzw. Berichtigung des Berichts O._ zwar ab, hielt die IV-Stelle indes an, die gesamten Verfahrensunterlagen im Sinne einer Gegendarstellung zu den IV-Akten zu nehmen. Im Übrigen wies es den Rekurs ab.
In der Folge erhob X._ Rekurs beim Appellationsgericht des Kantons Basel-Stadt (als Verwaltungsgericht). Dieses wies den Rekurs am 26. März 2009 ab, soweit darauf einzutreten war.
B. Gegen dieses Urteil des Appellationsgerichts hat X._ beim Bundesgericht am 16. Juni 2009 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Er beantragt im Wesentlichen die Aufhebung des angefochtenen Entscheides sowie die Vernichtung des Berichts O._ und die Unkenntlichmachung verschiedener Stellen in den Akten. Überdies stellt er weitere Begehren.
Die IV-Stelle verzichtet auf eine Stellungnahme und beantragt Abweisung der Beschwerde. Das Departement für Wirtschaft, Soziales und Umwelt sowie das Appellationsgericht beantragen, es sei die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Der Beschwerdeführer hält in seiner Replik an seinen Anträgen fest und ergänzt seine Begründung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gegen den Entscheid des Appellationsgerichts zulässig. Der Beschwerdeführer ist hierzu legitimiert und hat die Beschwerde rechtzeitig erhoben. Zulässig sind die Anträge der Aufhebung des Appellationsgerichtsurteils und der Anweisung, die entsprechenden Akten zu vernichten oder bestimmte Passagen zu berichtigen oder unkenntlich zu machen. Bei dieser Sachlage kommt den weitern Anträgen keine selbstständige Bedeutung zu. Unter diesen Einschränkungen und unter den nachfolgend dargelegten Vorbehalten kann auf die Beschwerde eingetreten werden.
2. Das Appellationsgericht hat im angefochtenen Entscheid ausführlich dargelegt, dass im vorliegenden Fall das basel-städtische Gesetz über den Schutz von Personendaten vom 18. März 1992 (DSG/BS; Gesetzessammlung 153.260) zur Anwendung gelange und nicht das Bundesgesetz über den Datenschutz (DSG; SR 235.1). Der Beschwerdeführer stellt die Anwendung des kantonalen Datenschutzgesetzes nicht in Frage.
Bei dieser Sachlage können Verletzungen des eidgenössischen Datenschutzgesetzes von vornherein nicht gerügt werden. Insoweit kann auf die Beschwerde nicht eingetreten werden. Hinsichtlich des kantonalen Datenschutzgesetzes ist deren Anwendung lediglich unter dem Gesichtswinkel des Willkürverbotes von <ref-law> zu prüfen. Frei geprüft werden im bundesgerichtlichen Verfahren Verletzungen von Grundrechten, soweit sie in der Beschwerdeschrift vorgebracht und begründet werden. In dieser Hinsicht ruft der Beschwerdeführer die Bestimmungen von Art. 9, 13 und 29 BV sowie Art. 8 EMRK an. Es ist im entsprechenden Sachzusammenhang zu beurteilen, ob die Beschwerdeschrift den Begründungsanforderungen genügt.
3. Der Beschwerdeführer beanstandet als formelle Rechtsverweigerung im Sinne von <ref-law>, dass das Appellationsgericht auf gewisse von ihm gestellte Begehren nicht eingetreten sei. Die Rüge erweist sich als unbegründet. Es trifft zwar zu, dass das Appellationsgericht in den Erwägungen 1.3 und 1.4 der Form nach auf die Anträge 3, 4 und 5 nicht eingetreten ist. Der Sache nach hat es sie indes mitbehandelt bzw. brauchte darauf in Anbetracht der materiellen Beurteilung nicht näher einzugehen. Es führte in materieller Hinsicht nämlich aus, dass die Voraussetzungen von § 6 DSG/BS vorlägen, der Bericht O._ nicht als unrichtig im Sinne von § 5 Abs. 4 DSG/BS bezeichnet werden könne und zudem die Rekursakten als Form der Gegendarstellung nach § 21 DSG/BS in die IV-Akten aufzunehmen seien. Bei dieser Sachlage kommt den ursprünglichen Anträgen 3, 4 und 5 keine selbstständige Bedeutung zu. In dieser Hinsicht kann überdies nicht von einer unvollständigen Sachverhaltsfeststellung gesprochen werden.
Das Appellationsgericht hat seinen Entscheid ausführlich begründet und ist demnach den Anforderungen von <ref-law> nachgekommen. Die Rüge der ungenügenden Begründung geht fehl.
4. Der Beschwerdeführer erachtet das Behandlungsverhältnis zwischen Dr. O._ und ihm als widerrechtlich. Aus der Art der Behandlung durch den Arzt schliesst er, dass dessen Feststellungen und Erklärungen im Bericht vom 4. Januar 2002 zuhanden der IV-Stelle ebenfalls widerrechtlich seien und dementsprechend der Bericht O._ als Ganzes zu vernichten und aus den Akten zu entfernen sei oder zumindest die beanstandeten Stellen unkenntlich gemacht werden müssten.
4.1 Für diese Rügen ist in tatsächlicher Hinsicht von folgenden Gegebenheiten auszugehen: Der Beschwerdeführer hat am 29. Juli 2001 der IV-Stelle ein Gesuch zum Bezug von IV-Leistungen für Erwachsene eingereicht. Darin vermerkte er, dass ihn Dr. O._ von April 2000 bis zum Einreichedatum wegen posttraumatischer Belastungsstörung behandelte. Im Bericht O._ vom 4. Januar 2002 wird vermerkt, dass die psychotherapeutische Behandlung vom 5. April 2000 bis zum 1. September 2000 andauerte, seither eine Überwachung der medikamentösen Therapie stattfand und die letzte Untersuchung am 2. April 2001 erfolgte. Dem Bericht O._ angehängt war ein Bericht der Psychotherapeutischen Praxisstelle des Instituts für Psychologie der Universität Bern (im Folgenden: Praxisstelle) vom 23. November 2001, welcher von Dr. O._ eingeholt worden war. Daraus geht unter anderem hervor, dass der Beschwerdeführer von Juli 2000 bis Mai 2001 bei der Praxisstelle in Behandlung war.
4.2 Aus diesen Gegebenheiten ergibt sich, dass der Beschwerdeführer ohne Zutun der IV-Stelle bei Dr. O._ in Behandlung war. Bei dieser Sachlage ist nicht ersichtlich, weshalb das Behandlungsverhältnis als unrechtmässig bezeichnet werden sollte, wie der Beschwerdeführer vorbringt. Vielmehr ist anzunehmen, dass dieses Behandlungsverhältnis im Grundsatz rechtmässig war.
Es ist weiter davon auszugehen, dass der Arzt im Lauf der Behandlung vom Beschwerdeführer selber verschiedenste Gegebenheiten aus dem Lebenslauf erfuhr. Auch insoweit ist nicht ersichtlich, weshalb die Erhebung der entsprechenden Personendaten unrechtmässig sein sollte. Der Beschwerdeführer bringt in keiner Weise vor, der Arzt hätte aus eigenem Antrieb und ohne das Wissen des Patienten von sich aus Personendaten oder besonders schützenswerte Personendaten über ihn erhoben. Insoweit kann ohne Verfassungsverletzung angenommen werden, dass das Einverständnis des Beschwerdeführers hierfür gegeben war (vgl. § 6 lit. c und § 9 Abs. 2 DSG/BS).
Im Gesuch um Bezug von IV-Leistungen gab der Beschwerdeführer an, dass er von Dr. O._ behandelt worden war. Damit kann ohne Willkür angenommen werden, der Beschwerdeführer habe sich im Hinblick auf die Behandlung seines Ersuchens damit einverstanden erklärt, dass zwecks erforderlicher IV-Abklärungen vom Arzt ein entsprechender Bericht eingeholt werde und der Arzt einen solchen der IV-Stelle einreiche. Dass ein solcher Bericht auch besonders schützenswerte Personendaten erhalten würde, bedarf keiner weitern Erklärungen (vgl. § 6 lit. c DSG/BS).
Zusammenfassend ergibt sich daraus, dass das zugrunde liegende Behandlungsverhältnis als rechtmässig bezeichnet werden kann und dass sowohl die Datenerhebung beim Beschwerdeführer wie die Datenübermittlung an die IV-Stelle ohne Verfassungsverletzung erfolgten. Zu prüfen verbleibt, wie es sich in Bezug auf die einzelnen vom Beschwerdeführer vorgebrachten Gegebenheiten verhält.
4.3 Der Beschwerdeführer erachtet den Bericht O._ deshalb als rechtswidrig, weil darin (besonders schützenswerte) Personendaten, im Wesentlichen die von Dr. O._ abgegebenen Diagnosen, enthalten sind, die ihm im Zeitpunkt der Übergabe des Berichts nicht bekannt gewesen seien und über die ihn der Arzt in Verletzung seines Mandatsverhältnisses nicht aufgeklärt habe. Entgegen der Auffassung des Beschwerdeführer kann nicht gesagt werden, der Bericht O._ bzw. die Übernahme in die IV-Akten verstosse gegen die Verfassung. Anscheindend hat er es unterlassen, sich während der Behandlung bei Dr. O._ über die genauen Diagnosen zu erkundigen. Mit dem Gesuch um IV-Leistungen hat er Dr. O._ als Arzt angegeben und diesen unter dem Titel "Vollmacht" auf S. 7 des Formulars zudem vom Arztgeheimnis entbunden. Bei dieser Sachlage ist nicht ersichtlich, inwiefern die Verfassung verletzt sein sollte.
Weiter ist der Beschwerdeführer der Auffassung, dass verschiedene Aussagen in einem Arztbericht zur Abklärung von IV-Leistungen nichts zu suchen hätten und der Bericht O._ bzw. diese Stellen aus diesen Gründen widerrechtlich seien. Es handelt sich dabei um Vermerke über die Unterstützung durch das Sozialamt, die Verweigerung des Militärdienstes und einen demütigenden und blossstellenden Vorfall an einem Arbeitsplatz. Sie gehören aus der Sicht des Arztes zur ärztlichen Anamnese. In der Annahme, dass diese Angaben zur Abklärung der persönlichen Verhältnisse im Hinblick auf die Abklärung des IV-Gesuchs notwendig sind, kann keine Verfassungsverletzung erblickt werden. Im Übrigen geht aus den Akten hervor, dass sich entsprechende Hinweise auch in andern Arztberichten finden, etwa im Bericht von Dr. F._ vom 27. Juni 2002.
Die Diagnosen von Dr. O._ hält der Beschwerdeführer für falsch und verlangt daher deren Vernichtung bzw. deren Korrektur. Wie das Appellationsgericht im angefochtenen Entscheid ohne Verfassungsverletzung dargelegt hat, kann angenommen werden, dass ärztliche Diagnosen nicht als richtig oder falsch zu bezeichnen sind und daher einer Berichtigung nicht zugänglich sind. Daran ändert der Umstand nichts, dass im vorliegenden Fall verschiedene Ärzte zu andern Folgerungen gelangten als Dr. O._. Bei dieser Sachlage kommt lediglich eine Gegendarstellung in Betracht (vgl. § 21 Abs. 3 DSG/BS). Eine solche ist dem Beschwerdeführer mit den Entscheiden des Appellationsgerichts und des Wirtschafts- und Sozialdepartements in dem Sinne zugestanden worden, als die gesamten Verfahrensunterlagen zu den IV-Akten genommen werden.
Schliesslich beanstandet der Beschwerdeführer, dass Dr. O._ seinem Bericht die erwähnte Stellungnahme der Praxisstelle beilegte. Auch in dieser Hinsicht ist davon auszugehen, dass er mit seinem IV-Gesuch und seiner umfassenden Vollmacht auf S. 7 des Formlars ebenfalls die Ärzte der Praxisstelle vom Arztgeheimnis entband. Daran ändert der Umstand nichts, dass der Beschwerdeführer die Praxisstelle in seinem IV-Gesuch nicht erwähnt hatte und Dr. O._ die Stellungnahme der Praxisstelle im Hinblick auf seinen eigenen Bericht einverlangte. Der Beschwerdeführer ermächtigte anlässlich seiner Anmeldung zum Bezug von IV-Leistungen "alle in Betracht fallenden Personen und Stellen, den zuständigen Stellen der Alters-, Hinterlassenen- und Invalidenversicherung die für die Abklärung des Anspruchs... erforderlichen Auskünfte zu geben."
4.4 Im Übrigen wird auf den ausführlichen angefochtenen Entscheid verwiesen (<ref-law>). Die vom Beschwerdeführer erhobenen Verfassungsrügen erweisen sich als unbegründet.
5. Demnach ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der IV-Stelle Basel-Stadt sowie dem Departement für Wirtschaft, Soziales und Umwelt und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 6. Januar 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Steinmann