Sachverhalt:
A. X._ erstattete am 18. September 2003 Anzeige gegen A._ wegen Drohung. Dieser wurde gleichentags verhaftet. Dabei wurde bei ihm eine ungarische Staatsangehörige (Geschädigte) angetroffen. Diese wurde wegen Verdachts der Widerhandlung gegen das ANAG ebenfalls in Arrest genommen. Als sie am folgenden Tag als Auskunftsperson befragt wurde, erklärte sie, von X._ vergewaltigt worden zu sein, und erstattete Strafanzeige.
X._ wurde am 20. September 2003 um 18.45 Uhr auf dem Firmengelände seiner Arbeitgeberin verhaftet, als er das Geschäftsauto wegen einer (angeblichen) Krankheit abgab. Die Arbeitgeberin kündigte das Arbeitsverhältnis unter Einhaltung der vertraglichen Kündigungsfrist am Montag, dem 22. September 2003. Am 8. Oktober 2003 wurde er aus der Untersuchungshaft entlassen.
B. Die Staatsanwaltschaft Zürich-Sihl sprach X._ mit Strafbefehl vom 14. Oktober 2005 der Widerhandlung gegen Art. 23 Abs. 1 al. 5 ANAG (Erleichterung des rechtswidrigen Verweilens, insbesondere wegen Beschäftigung der Geschädigten) sowie des unbefugten Aufnehmens von Gesprächen im Sinne von <ref-law> (zum Nachteil der Geschädigten) schuldig und bestrafte ihn mit 2 Monaten Gefängnis bedingt und Fr. 500.-- Busse. In einer Verfügung gleichen Datums stellte sie die Untersuchung wegen Vergewaltigung, sexueller Belästigung, Drohung und Tätlichkeiten sowie wegen Erleichterung des rechtswidrigen Verweilens (dass er die Geschädigte bei sich wohnen liess) mangels anklagegenügender Nachweisbarkeit ein. Die Kosten der eingestellten Untersuchung wurden auf die Staatskasse genommen. Es wurden eine Umtriebsentschädigung von Fr. 2'179.-- (9/10 der Honorarnote des Verteidigers) und eine Genugtuung für die erlittene Untersuchungshaft von Fr. 3'800.-- (für 19 Hafttage nach dem üblichen Ansatz von Fr. 200.-- pro Tag) zugesprochen.
Der Einzelrichter in Strafsachen des Bezirksgerichts Zürich bestätigte mit Verfügung vom 8. Februar 2006 die Regelung der Kosten- und Entschädigungsfolgen der staatsanwaltschaftlichen Verfügung.
Das Obergericht des Kantons Zürich wies mit Beschluss vom 5. März 2008 den Rekurs von X._ ab.
C. X._ erhebt Beschwerde in Strafsachen und beantragt, den Beschluss des Obergerichts aufzuheben, ihm neben der Entschädigung von Fr. 2'179.-- eine Genugtuung von Fr. 7'600.-- sowie eine Entschädigung von Fr. 1'146'656.-- zuzusprechen, die Kosten des Bezirksgerichts und des Obergerichts auf die Staatskasse zu nehmen und ihn für das Verfahren vor diesen beiden Instanzen mit Fr. 7'000.-- zu entschädigen, eventualiter die Sache zur Beurteilung der Schadenersatzforderung an die Vorinstanzen unter Kostenfolgen zurückzuweisen. Ferner beantragt er die unentgeltliche Rechtspflege.

Erwägungen:
1. Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 3.2; <ref-ruling> E. 1.4). Dieses Rügeprinzip verlangt, dass in der Beschwerdeschrift dargelegt wird, welche verfassungsmässigen Rechte inwiefern durch den angefochtenen Entscheid verletzt worden sind. Das Bundesgericht prüft nur rechtsgenügend vorgebrachte, klar erhobene und, soweit möglich, belegte Rügen. Auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 3.1).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Dabei bedeutet "offensichtlich unrichtig" willkürlich (<ref-ruling> E. 1.2.2). Es gilt eine qualifizierte Rügepflicht (<ref-ruling> E. 1.4.2), d.h. der Beschwerdeführer muss in der Beschwerdeschrift klar und deutlich anhand der Erwägungen des angefochtenen Entscheids darlegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 3.2).
Die blosse Verweisung auf Ausführungen in anderen Rechtsschriften oder auf die Akten genügt nicht (<ref-ruling> E. 3.1; <ref-ruling> E. 3a).
2. Der Beschwerdeführer rügt eine Verletzung von § 43 Abs. 2 StPO/ZH.
2.1 Die Vorinstanz führt aus, infolge der Einstellung des Verfahrens sei dem Beschwerdeführer grundsätzlich der Schaden zu ersetzen, der ihm durch die deswegen erlittene Untersuchung entstanden sei. Der Beschwerdeführer (Jahrgang 1955) beziffere diesen Schaden auf über eine Million Franken (entsprechend seinem im Verhaftungszeitpunkt erzielten Bruttoeinkommen bis zum Pensionierungsalter) und führe ihn auf die Kündigung des Arbeitsverhältnisses zurück, die nach seiner Auffassung eine direkte Folge seiner Verhaftung gewesen sei. Die Vorinstanz prüft in der Folge, ob die Kündigung eine adäquat kausale Folge der Verhaftung gewesen ist, und verneint dies. Die Kündigung sei aus den in der Kündigung ausführlich beschriebenen Gründen erfolgt, nämlich wegen illegaler Beschäftigung einer Ausländerin auf den Liegenschaften der Firma, was durch den Strafbefehl vom 14. Oktober 2005 bestätigt worden sei, sowie wegen Nichterscheinens am Arbeitsplatz am 19. September 2003 mit einem "vorgeschobenen" Arztzeugnis, was gestützt auf die Mitteilung einer Mitarbeiterin angenommen worden sei (mit Verweisung auf die vom Beschwerdeführer eingereichte Klageantwort der Arbeitgeberin als Beklagte an das Arbeitsgericht vom 16. März 2004; angefochtenes Urteil S. 12; act. 2). Letzteres sei ebenfalls nicht unbegründet gewesen, denn nach dem Zivilurteil des Obergerichts des Kantons Zürich vom 12. November 2007 habe der Beschwerdeführer keine Arbeitsunfähigkeit zu belegen vermocht. Nach allgemeiner Lebenserfahrung bildeten die Einleitung einer strafrechtlichen Untersuchung und eine Verhaftung eines Mitarbeiters regelmässig keinen Anlass für eine Kündigung, insbesondere wenn die Untersuchung auf Betreiben einer dem Arbeitgeber unbekannten Drittperson eingeleitet worden sei.
2.2 Das Obergericht nahm im erwähnten Zivilurteil vom 12. November 2007 an, dass die Kündigung vom 22. September 2003 gültig war (S. 29). Es setzte sich weiter eingehend mit der Krankheitsfrage auseinander und hielt fest, eine nicht selbstverschuldete krankheitsbedingte Arbeitsunfähigkeit sei vom 22. Oktober 2003 bis 26. Mai 2004 belegt (S. 31). An diesem Tag befand die als Zeugin befragte Psychiaterin Dr. B._ den Beschwerdeführer aus psychiatrischer Sicht als "für 100 % arbeitsfähig" und "psychisch wieder gut dran".
Die Kündigungsfrist sämtlicher Arbeitsverhältnisse habe sich um die Sperrfrist von 90 Tagen verlängert. Demzufolge habe das Hauptarbeitsverhältnis am 29. Februar 2004 geendet, und die Teilzeitarbeitsverhältnisse hätten sich bis zum 29. Januar 2004 bzw. 31. Januar 2004 verlängert. Bis zum 8. Oktober 2003 habe er sich unverschuldet in Untersuchungshaft befunden. Am 19. September 2003 sowie vom 9. bis 21. Oktober 2003 sei keine Arbeitsunfähigkeit nachgewiesen, der Beschwerdeführer somit als arbeitsfähig zu betrachten. Vom 22. Oktober 2003 bis zum Ende des Arbeitsverhältnisses habe eine krankheitsbedingte Arbeitsunfähigkeit bestanden (S. 34). Die Arbeitgeberin schulde (grundsätzlich) den vollen Lohn für die Dauer vom 1. September bis und mit 21. Oktober 2003 und ab dem 22. Oktober 2003 bis zum Ende des Arbeitsverhältnisses den Krankenlohn (S. 37).
Das Obergericht stellte ferner fest, dass die Psychiaterin Dr. B._ und die Psychologin/Psychotherapeutin C._ als Zeuginnen den Verlust der Arbeit und nicht den Vorwurf der Vergewaltigung oder die Untersuchungshaft oder die Fussbeschwerden als Ursache der psychischen Krankheit angesehen hätten (S. 31). Sie hätten die Untersuchungshaft (wie auch die Morddrohungen) als wenig bedrohlich für den Beschwerdeführer beschrieben und deren Anteil am depressiven Zustandsbild als gering eingestuft (S. 33).
2.3 Falls ein Angeschuldigter die Untersuchung nicht durch ein verwerfliches oder leichtfertiges Benehmen verursacht oder erschwert hat (§ 42 Abs. 1 StPO/ZH), hat er gemäss § 43 Abs. 2 StPO/ZH Anspruch auf Entschädigung der wesentlichen Kosten und Umtriebe. Diese bestehen namentlich in den Kosten der erlittenen Haft mit ihren Folgen wie Lohnausfall, Stellenverlust, künftige Lohneinbussen wegen Krankheit und eingetretener Arbeitsunfähigkeit. Vorausgesetzt ist stets ein Kausalzusammenhang. Die Zusprechung von Schadenersatz setzt voraus, dass der Eintritt des geltend gemachten Schadens nicht bloss im Bereich des Möglichen liegt, sondern annähernd sicher erscheint (angefochtenes Urteil S. 8 mit Hinweis insbesondere auf <ref-ruling> E. 3a zu <ref-law>).
In diesem Verfahren gilt die Offizialmaxime, doch ist es Aufgabe des Ansprechers, Schadenersatz- bzw. Genugtuungsansprüche zu substantiieren und zu belegen, ebenso die Kausalität zwischen Verfolgungsmassnahme und Schaden (Niklaus Schmid, Strafprozessrecht, 4. Auflage, Zürich 2004, N. 1225 Fn. 119; vgl. <ref-ruling> E. 3e; <ref-ruling> E. 5).
2.4 Der Beschwerdeführer macht eine unrichtige Sachverhaltsfeststellung geltend. Er verweist auf mehrere Stellen des angefochtenen Urteils (Beschwerde S. 5 f.) und folgert daraus, dass ohne die Verhaftung auf dem Firmengelände "die Kündigung wohl nicht erfolgt wäre". Damit spricht er eine Vermutung aus, ohne dass damit eine willkürliche Beweiswürdigung aufgezeigt wird. Die bloss zeitliche Folge beweist nicht die ursächliche Folge. Es ist lediglich einzuräumen, dass die illegale Beschäftigung der Ausländerin und das Nichterscheinen am Arbeitsplatz mit einem "vorgeschobenen" Arztzeugnis ohne die Verhaftung wohl nicht in diesem Zeitpunkt aufgedeckt worden wären. Es ist offenkundig, dass dieses Verhalten einen Vertrauensmissbrauch darstellt, wie im Kündigungsschreiben festgehalten wird, und zu einer Kündigung Anlass geben kann (angefochtenes Urteil S. 10 ff.). Dagegen behauptet der Beschwerdeführer, insbesondere sei sein Einwand von der Vorinstanz nicht gehört worden, dass die Arbeitgeberin über den Beizug von Hilfspersonal informiert und damit einverstanden gewesen sei (mit Verweisung auf S. 11 des angefochtenen Urteils). Die Vorinstanz weist jedoch dieses Vorbringen an der zitierten Stelle begründet zurück. Ferner zitiert sie eine Stellungnahme der Arbeitgeberin im Zivilverfahren, wonach der Beschwerdeführer "entgegen den klaren Weisungen" eine junge Dame ohne Aufenthalts- und Arbeitsbewilligung beschäftigt habe (angefochtenes Urteil S. 13). Den Beizug von Hilfspersonen und die illegale Beschäftigung von Ausländern unterschiedlich zu beurteilen, ist nicht willkürlich.
2.5 Der Beschwerdeführer macht eine Verletzung des rechtlichen Gehörs wegen Verweigerung des Beizugs von Akten geltend.
Zum einen habe die Vorinstanz die Verweigerung des Beizugs der zivilrechtlichen Akten willkürlich damit begründet, er habe diese Akten nur zum Beweis seiner früheren guten Arbeit angerufen, obwohl er diesen Aktenbeizug für den gesamten zusammengefassten Sachverhalt auf den Seiten 4 und 5 seines Rekurses vom 13. April 2008 verlangt habe. Aus Zeugenaussagen in den Akten ergebe sich, dass die Firmenleitung sofort nach der Verhaftung am Samstag noch über das Wochenende per E-Mail über seine Verhaftung mit den Anschuldigungen informiert worden sei.
Zum andern bringt er vor, selbst wenn die Verhaftung nicht die Ursache der Kündigung gebildet hätte, dürfe nicht von der Hand gewiesen werden, dass sein psychischer Zustand in der Haft für die Bemessung der Genugtuung relevant sei. Hier habe er den Beizug der Zivilakten dafür verlangt, dass vor der Verhaftung kein Grund zur Kündigung bestanden habe. Dass er am 21. September 2003, am zweiten Tag nach der Verhaftung, alles "super" gefunden und auf die Anhörung des Haftrichters verzichtet habe, genüge nicht um den Antrag auf Beizug der Berichte des Gefängnispsychiaters Dr. D._ und der Psychiaterin Dr. E._ abzuschmettern.
Der Beschwerdeführer verkennt, dass er in diesem Verfahren substantiierungspflichtig ist (oben E. 2.3). Es war ihm zumutbar, die ihm dienlichen Beweismittel in das Verfahren einzuführen (wie er etwa die Klageantwort eingereicht hatte; oben E. 2.1). Das rechtskräftige Urteil des Obergerichts vom 12. November 2007 wurde von der Vorinstanz beigezogen (in den Akten findet sich auch das Urteil des Arbeitsgerichts Zürich vom 19. Dez. 2005). In diesem Urteil wurden Arztzeugnisse und ärztliche Aussagen in sehr umfangreichen Erwägungen gewürdigt (oben E. 2.2). Damit setzt sich der Beschwerdeführer nicht auseinander. Weitere Arztberichte zum Gefängnisaufenthalt konnte er ebenfalls selber bestellen und in das Verfahren einbringen, wenn sie ihm für den Beweis seines Standpunkts geeignet erschienen. Er kann nicht im Nachhinein der Vorinstanz Willkür vorwerfen, wenn sich für sie - wohl insbesondere aufgrund der eingehenden Erörterung der Krankheitsfrage im obergerichtlichen Zivilurteil - weitere Beweiserhebungen erübrigten, insbesondere betreffend die Belastung in der Untersuchungshaft (angefochtenes Urteil S. 16 f.).
Diese Ablehnung von Beweisanträgen verletzt das rechtliche Gehör nicht. Das Gericht kann auf die Abnahme von Beweisen verzichten, wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür annehmen kann, seine Überzeugung werde durch weitere Beweiserhebungen nicht geändert (<ref-ruling> E. 5.3).
2.6 Der Beschwerdeführer bringt vor, seine Verhaftung sei zumindest mitursächlich für die Kündigung seines Arbeitsverhältnisses gewesen. Indem die Vorinstanz jeglichen Schadenersatz für die Folgen seiner Verhaftung verweigere, verletze sie § 43 Abs. 2 StPO/ZH.
Bereits die Staatsanwaltschaft hat dem Beschwerdeführer nach der üblichen Praxis eine Umtriebsentschädigung von Fr. 2'179.-- und eine Genugtuung von Fr. 3'800.--für die Untersuchungshaft zugesprochen. Die Vorinstanz sieht keinen Anlass, vom gerichtsüblichen Tagessatz von Fr. 200.-- abzuweichen. Die Untersuchungshaft sei rechtmässig gewesen, und es ergäben sich keine Hinweise, dass sie ein Trauma hätte verursachen können (angefochtenes Urteil S. 16 f.). Der Beschwerdeführer räumt ein, dass er seine körperlichen Beschwerden auch ohne Untersuchungshaft hätte, macht aber geltend, die Vorinstanz gehe darüber hinweg, dass er heute wie seit der Verhaftung wegen körperlicher und psychischer Probleme arbeitsunfähig sei. Wenn die Verhaftung auch nur eine Teilursache sei, so müsse über den angemessenen Schadenersatz entschieden werden.
Entscheidend ist indessen, dass die vorinstanzliche Verneinung einer Adäquanz zwischen Verhaftung und Arbeitsunfähigkeit nicht als willkürlich erscheint. Daher durfte das weitergehende Schadenersatzbegehren auch willkürfrei abgelehnt werden.
2.7 Der Beschwerdeführer rügt, die vorinstanzlichen Ausführungen über die adäquat kausale Verursachung des Schadens und über dessen Existenz (mit Verweisung auf S. 8 unten und S. 15/16 des angefochtenen Urteils) verletzten Bundesrecht, nämlich <ref-law>. Insbesondere hätte <ref-law> angewendet werden müssen.
Materielles Bundeszivilrecht berücksichtigt die Vorinstanz als kantonales Ersatzrecht zur Anwendung von § 43 Abs. 2 StPO/ZH. Die Anwendung kantonalen Rechts prüft das Bundesgericht unter dem Gesichtspunkt der Willkür (oben E. 1). Die Vorinstanz zitiert auf S. 8 unten ihres Urteils den <ref-ruling> (oben E. 2.3) und stützt sich auf diese Rechtsprechung. Insoweit ist eine Willkür nicht ersichtlich.
Weiter führt die Vorinstanz aus, weil die Kündigung nicht eine adäquat kausale Folge der wegen Verdachts der Vergewaltigung erfolgten Verhaftung sei, erübrigten sich Ausführungen zur Begründetheit des geltend gemachten Schadens. Trotzdem sei auf die Tatsache hinzuweisen, dass der Beschwerdeführer bei der Begründung des Schadens höchst widersprüchlich vorgehe (angefochtenes Urteil S. 14 f.). Inwiefern die diesbezügliche Würdigung auf S. 15 des angefochtenen Urteils betreffend IV-Rente und Schadensberechnung willkürlich sein sollte, legt der Beschwerdeführer nicht dar.
Die Vorinstanz stellt fest, es ergebe sich aus der eingereichten Verfügung der Sozialversicherungsanstalt des Kantons Zürich vom 5. Oktober 2005, dass dem Beschwerdeführer, der sich in den Jahren 2003 und 2004 über "Beschwerden im Fuss" beklagt habe, die Rente offensichtlich wegen körperlicher und nicht etwa wegen psychischer Beschwerden zugesprochen worden sei. Auf S. 15/16 des angefochtenen Urteils führt die Vorinstanz gestützt auf das erwähnte Zivilurteil des Obergerichts vom 12. November 2007 aus, dass dem Beschwerdeführer durch die Untersuchungshaft kein Erwerbsausfall entstanden sei, weil ihm für die Zeit vom 20. September bis zum 8. Oktober 2003 (entsprechend seinem Klagebegehren) ein Krankenlohn von 80 % zugesprochen worden sei. Auch hier zeigt der Beschwerdeführer keine Willkür auf.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Die unentgeltliche Rechtspflege kann nicht gewährt werden, weil das Rechtsbegehren aussichtslos erschien (<ref-law>; Art. 64 Abs. 1 und 2 BGG). Angesichts der finanziellen Lage des Beschwerdeführers (angefochtenes Urteil S. 18) sind die aufzuerlegenden Gerichtskosten herabzusetzen (Art. 65 Abs. 2 und Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 5. August 2008
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Favre Briw