Sachverhalt: A. X._ erstattete am 18. September 2003 Anzeige gegen A._ wegen Drohung. Dieser wurde gleichentags verhaftet. Dabei wurde bei ihm eine ungarische Staatsangehörige (Geschädigte) angetroffen. Diese wurde wegen Verdachts der Widerhandlung gegen das ANAG ebenfalls in Arrest genommen. Als sie am folgenden Tag als Auskunftsperson befragt wurde, erklärte sie, von X._ vergewaltigt worden zu sein, und erstattete Strafanzeige. X._ wurde am 20. September 2003 um 18.45 Uhr auf dem Firmengelände seiner Arbeitgeberin verhaftet, als er das Geschäftsauto wegen einer (angeblichen) Krankheit abgab. Die Arbeitgeberin kündigte das Arbeitsverhältnis unter Einhaltung der vertraglichen Kündigungsfrist am Montag, dem 22. September 2003. Am 8. Oktober 2003 wurde er aus der Untersuchungshaft entlassen. B. Die Staatsanwaltschaft Zürich-Sihl sprach X._ mit Strafbefehl vom 14. Oktober 2005 der Widerhandlung gegen Art. 23 Abs. 1 al. 5 ANAG (Erleichterung des rechtswidrigen Verweilens, insbesondere wegen Beschäftigung der Geschädigten) sowie des unbefugten Aufnehmens von Gesprächen im Sinne von Art. 179ter Abs. 1 StGB (zum Nachteil der Geschädigten) schuldig und bestrafte ihn mit 2 Monaten Gefängnis bedingt und Fr. 500.-- Busse. In einer Verfügung gleichen Datums stellte sie die Untersuchung wegen Vergewaltigung, sexueller Belästigung, Drohung und Tätlichkeiten sowie wegen Erleichterung des rechtswidrigen Verweilens (dass er die Geschädigte bei sich wohnen liess) mangels anklagegenügender Nachweisbarkeit ein. Die Kosten der eingestellten Untersuchung wurden auf die Staatskasse genommen. Es wurden eine Umtriebsentschädigung von Fr. 2'179.-- (9/10 der Honorarnote des Verteidigers) und eine Genugtuung für die erlittene Untersuchungshaft von Fr. 3'800.-- (für 19 Hafttage nach dem üblichen Ansatz von Fr. 200.-- pro Tag) zugesprochen. Der Einzelrichter in Strafsachen des Bezirksgerichts Zürich bestätigte mit Verfügung vom 8. Februar 2006 die Regelung der Kosten- und Entschädigungsfolgen der staatsanwaltschaftlichen Verfügung. Das Obergericht des Kantons Zürich wies mit Beschluss vom 5. März 2008 den Rekurs von X._ ab. C. X._ erhebt Beschwerde in Strafsachen und beantragt, den Beschluss des Obergerichts aufzuheben, ihm neben der Entschädigung von Fr. 2'179.-- eine Genugtuung von Fr. 7'600.-- sowie eine Entschädigung von Fr. 1'146'656.-- zuzusprechen, die Kosten des Bezirksgerichts und des Obergerichts auf die Staatskasse zu nehmen und ihn für das Verfahren vor diesen beiden Instanzen mit Fr. 7'000.-- zu entschädigen, eventualiter die Sache zur Beurteilung der Schadenersatzforderung an die Vorinstanzen unter Kostenfolgen zurückzuweisen. Ferner beantragt er die unentgeltliche Rechtspflege.