Sachverhalt: A. X._ wird beschuldigt, an einem Abend im Oktober/November 2006 trotz klarer Ablehnung seitens der Geschädigten unter Anwendung von Körpergewalt den Geschlechtsverkehr mit ihr vollzogen zu haben und weiter im Juni 2006 anlässlich eines verbalen und tätlichen Streites gedroht zu haben, sie zurück in die Türkei zu schicken oder sie umzubringen, worauf sie Angst bekommen habe. X._ bestritt die Beschuldigungen. B. Das Bezirksgericht Zürich trat im Strafverfahren gegen X._ am 3. Februar 2010 auf die Anklage betreffend mehrfache Tätlichkeiten wegen Verjährung nicht ein und sprach ihn von der eingeklagten Nötigung frei. Es verurteilte ihn wegen Vergewaltigung (Art. 190 Abs. 1 StGB) und Drohung (Art. 180 Abs. 1 i.V.m. Abs. 2 lit. a StGB) zu 24 Monaten Freiheitsstrafe bedingt mit einer Probezeit von zwei Jahren. Es verpflichtete ihn zu einer Genugtuung von Fr. 5'000.--, stellte dem Grundsatz nach eine Schadenersatzpflicht gegenüber der Geschädigten fest und verwies diese im Übrigen auf den Zivilweg. Das Obergericht des Kantons Zürich bestätigte am 3. November 2010 das bezirksgerichtliche Urteil. C. X._ erhebt Beschwerde in Strafsachen mit den Anträgen, ihn vom Vorwurf der Vergewaltigung freizusprechen, ihn wegen Drohung gemäss Art. 180 Abs. 1 i.V.m. Abs. 2 lit. a StGB schuldig zu sprechen und angemessen zu bestrafen, den Vollzug dieser Strafe aufzuschieben und die Probezeit auf zwei Jahre festzusetzen, das Schadenersatzbegehren abzuweisen oder eventuell auf den Zivilweg zu verweisen, die Kosten des kantonalen Verfahrens "auf die Gerichtskasse zu nehmen" sowie ihm die unentgeltliche Rechtspflege zu gewähren.