Sachverhalt:
A. X._ befindet sich seit dem 15. Juli 2010 in Untersuchungshaft. Er wird unter anderem der Vergewaltigung seiner Ehefrau verdächtigt. Ein Haftentlassungsgesuch vom 19. bzw. 20. August 2010 wies der Haftrichter des Bezirksgerichts Zürich am 27. August 2010 ab, weil ein dringender Tatverdacht sowie Kollusions- und Fluchtgefahr gegeben seien.
B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 8. September 2010 beantragt X._ in der Hauptsache, die Verfügung des Haftrichters vom 27. August 2010 sei aufzuheben und er selbst sei aus der Untersuchungshaft zu entlassen.
C. Der Haftrichter verzichtet auf eine Vernehmlassung. Die Staatsanwaltschaft IV des Kantons Zürich beantragt sinngemäss, die Beschwerde sei abzuweisen.
D. Mit Stellungnahme vom 23. September 2010 hält der Beschwerdeführer an seiner Beschwerde fest.

Erwägungen:
1. 1.1 Angefochten ist eine Verfügung des Haftrichters des Bezirksgerichts Zürich, mit welcher das Haftentlassungsgesuch des Beschwerdeführers abgewiesen worden ist. Die Sachurteilsvoraussetzungen (<ref-law>) sind erfüllt, weshalb auf die Beschwerde grundsätzlich einzutreten ist.
1.2 Soweit der Beschwerdeführer um eine angemessene Genugtuung für die erlittene immaterielle Unbill ersucht, ist die Beschwerde indessen unzulässig. Fragen einer allfälligen Haftentschädigung bilden nicht Gegenstand des angefochtenen Entscheids. Wie sich aus den nachfolgenden Erwägungen ergibt, bestehen beim gegenwärtigen Verfahrensstand aber ohnehin keine Anhaltspunkte für eine ungesetzliche Haft.
2. Der Beschwerdeführer macht geltend, die Vorinstanz habe willkürlich im Sinne von <ref-law> gehandelt, indem sie ernsthaft vorgetragene Argumente nicht weiter geprüft, sondern lediglich auf Vorakten und Voreingaben verwiesen habe. Sinngemäss rügt die Beschwerdeführerin damit eine Verletzung der Begründungspflicht, welche Bestandteil des Anspruchs auf rechtliches Gehör (<ref-law>) bildet (vgl. <ref-ruling> E. 4.1 mit Hinweisen).
Zwar hat die Vorinstanz in ihrer Begründung auf den Entscheid des Haftrichters vom 6. August 2010, mit welchem bereits ein Haftentlassungsgesuch des Beschwerdeführers abgewiesen worden ist, sowie auf den Antrag der Staatsanwaltschaft auf Fortsetzung von Untersuchungshaft vom 24. August 2010 verwiesen. Darüber hinaus hat sie ihren Entscheid aber selber begründet (vgl. nachfolgend E. 4.1 sowie 5.1). Der Beschwerdeführer legt nicht dar, auf welche für den Entscheid wesentlichen Einwände die Vorinstanz nicht eingegangen sein sollte. Er begründet nicht substanziiert, weshalb der Entscheid willkürlich im Sinne von <ref-law> sein oder seinen Anspruch auf rechtliches Gehör gemäss <ref-law> verletzen sollte. In Anwendung von Art. 42 Abs. 1 und 2 sowie <ref-law> ist auf die lediglich pauschal erhobene Kritik, die Vorinstanz habe vorgetragene Argumente nicht geprüft, nicht einzutreten.
3. Die Untersuchungshaft schränkt die persönliche Freiheit des Beschwerdeführers ein (Art. 10 Abs. 2 i.V.m. <ref-law>, Art. 5 EMRK). Eine Einschränkung dieses Grundrechts ist zulässig, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist; zudem darf sie den Kerngehalt des Grundrechts nicht beeinträchtigen (<ref-law>). Im vorliegenden Fall steht ein Freiheitsentzug und damit eine schwerwiegende Einschränkung der persönlichen Freiheit in Frage. Im Hinblick auf die Schwere der Einschränkung prüft das Bundesgericht die Auslegung und Anwendung der kantonalen Rechtsgrundlage frei. Soweit jedoch reine Sachverhaltsfragen und damit Fragen der Beweiswürdigung zu beurteilen sind, greift es nur ein, wenn die tatsächlichen Feststellungen der Vorinstanz offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (Art. 97 Abs. 1 i.V.m. <ref-law>; <ref-ruling> E. 2.5 S. 73 f. mit Hinweis).
Die Untersuchungshaft darf nach Zürcher Strafprozessrecht nur angeordnet bzw. fortgesetzt werden, wenn der Angeschuldigte eines Verbrechens oder Vergehens dringend verdächtigt wird und ausserdem ein besonderer Haftgrund vorliegt (<ref-law>/ZH).
4. Der Beschwerdeführer bestreitet den allgemeinen Haftgrund des dringenden Tatverdachts.
4.1 Die Vorinstanz hat hierfür auf den Entscheid des Haftrichters vom 6. August 2010 sowie auf den Antrag der Staatsanwaltschaft auf Fortsetzung von Untersuchungshaft vom 24. August 2010 verwiesen. Weiter hat sie ausgeführt, der Tatverdacht der Vergewaltigung stütze sich zwar praktisch ausschliesslich auf die Zeugenaussagen der Geschädigten, nämlich der Ehefrau des Angeschuldigten. Diese habe den Beschwerdeführer in der Zeugenbefragung vom 22. Juli 2010 indessen detailliert, anschaulich und differenziert belastet. Die Aussagen der Geschädigten würden sich nicht von vornherein als unglaubhaft erweisen. Was der Gesuchsteller angeführt habe, sei nicht geeignet, die Geschädigte als unglaubwürdig erscheinen zu lassen.
4.2 Der Beschwerdeführer macht geltend, die Beweislage sei äusserst dünn. Seiner Aussage lägen lediglich die Anschuldigungen der Ehefrau gegenüber. Gegen den Tatverdacht spreche zunächst, dass die Ehefrau die angeblich erfolgte Vergewaltigung nicht habe ärztlich feststellen lassen, mit niemandem darüber gesprochen habe, mit ihm nach dem angeblichen Vorfall gemäss eigener Aussage weiterhin zusammen geschlafen und dabei normalen Intimverkehr gehabt habe, erst nach über fünf Monaten Anzeige erstattet habe, den Zeitpunkt der angeblichen Tat nur ungefähr genannt habe und in der Konfrontationseinvernahme ohne jegliche Rührung, Verbittertheit oder Traumatisierung gesprochen, sondern im Gegenteil noch gelacht habe. Sodann habe die Einvernahme weiterer Zeugen die Anschuldigungen der Ehefrau nicht untermauert.
4.3 Das Bundesgericht hat bei der Überprüfung des allgemeinen Haftgrunds des dringenden Tatverdachts keine erschöpfende Abwägung sämtlicher belastender und entlastender Beweisergebnisse vorzunehmen. Macht ein Inhaftierter geltend, er befinde sich ohne ausreichenden Tatverdacht in Untersuchungshaft, ist vielmehr zu prüfen, ob aufgrund der bisherigen Untersuchungsergebnisse genügend konkrete Anhaltspunkte für eine Straftat und eine Beteiligung des Beschwerdeführers an dieser Tat vorliegen, die Justizbehörden somit das Bestehen eines dringenden Tatverdachts mit vertretbaren Gründen bejahen durften. Im Haftprüfungsverfahren genügt dabei der Nachweis von konkreten Verdachtsmomenten, wonach das inkriminierte Verhalten mit erheblicher Wahrscheinlichkeit die fraglichen Tatbestandsmerkmale erfüllen könnte (vgl. <ref-ruling> E. 3c S. 146).
4.4 Die mutmasslich geschädigte Ehefrau hat den Beschwerdeführer in der Untersuchung konkret belastet. Sie hat den Tatvorhergang anlässlich der polizeilichen Einvernahme vom 21. Mai 2010 detailliert geschildert. Ihre Aussagen in der staatsanwaltschaftlichen Einvernahme vom 22. Juli 2010 stimmen im Wesentlichen mit jenen in der polizeilichen Einvernahme überein. Demnach soll der Beschwerdeführer seine Ehefrau im Schlafzimmer auf das Bett geschmissen, ihr das T-Shirt weggerissen und sie mehrfach geohrfeigt haben, als diese begonnen habe, zu weinen, zu schreien und sich zu wehren. Hernach soll er gewaltsam mit seinem Penis in die Vagina seiner Ehefrau eingedrungen sein und schliesslich auf deren Bauch ejakuliert haben. Anlässlich der staatsanwaltschaftlichen Einvernahme hat die Ehefrau ausgeführt, sie habe keine andere Möglichkeit gehabt, als nach dem Vorfall mit dem Beschwerdeführer und seiner Familie weiterhin zusammen zu leben, da sie erst seit kurzem verheiratet gewesen und in die Schweiz gekommen sei. Ihre Eltern hätten ihre Probleme nicht verstanden und sie nicht zurück haben wollen. Dass die Ehefrau unter diesen Umständen erst fünf Monate später Strafanzeige gegen ihren Ehemann erhob, vermag die Glaubwürdigkeit ihrer Aussagen nicht zu schmälern. Der Haftrichter hat kein Bundesrecht verletzt, wenn er aufgrund der bisherigen Untersuchungsergebnisse im Ergebnis davon ausgegangen ist, dass genügend Anhaltspunkte für die Erfüllung des Straftatbestands der Vergewaltigung bestehen.
5. Der Beschwerdeführer wendet sich auch gegen die Annahme des besonderen Haftgrunds der Kollusionsgefahr.
5.1 Die Vorinstanz hat für den Haftgrund der Kollusionsgefahr ebenfalls auf den Entscheid des Haftrichters vom 6. August 2010 sowie den Antrag der Staatsanwaltschaft auf Fortsetzung von Untersuchungshaft vom 24. August 2010 verwiesen. Weiter hat sie ausgeführt, es sei wahrscheinlich, dass die Geschädigte im Rahmen des gerichtlichen Verfahrens erneut als Zeugin befragt werde. Angesichts der ehelichen Beziehung zwischen der Geschädigten und dem Beschwerdeführer, des eminenten Interesses des Beschwerdeführers, sein Verhalten gegenüber seiner Ehefrau in ein günstiges Licht zu rücken, sowie angesichts des bisherigen Aussageverhaltens des Beschwerdeführers sei der Haftgrund der Kollusionsgefahr weiterhin zu bejahen.
5.2 Der Beschwerdeführer wendet dagegen ein, es sei nicht einzusehen, wie er als völlig unbescholtene Person imstande sein sollte, Personen zu seinen Gunsten zu beeinflussen. Mit einer klaren Auflage und Weisung könne der minimal bestehenden Möglichkeit einer Einflussnahme wirksam begegnet werden. Sofern tatsächlich Kollusionsgefahr bestanden hätte, hätte er überdies vor seiner Verhaftung genügend Zeit gehabt, seine Ehefrau oder weitere Zeugen zu beeinflussen. Nach den bereits durchgeführten Konfrontationseinvernahmen mit der Geschädigten sowie weiteren Zeugen bestehe aber ohnehin keine Kollusionsgefahr mehr. Anlässlich der Hauptverhandlung vor Gericht könnten ihm die Protokolle dieser Einvernahmen vorgehalten werden.
5.3 Nach <ref-law>/ZH besteht Kollusionsgefahr, wenn aufgrund bestimmter Anhaltspunkte ernsthaft befürchtet werden muss, der Angeschuldigte werde Spuren oder Beweismittel beseitigen, Dritte zu falschen Aussagen zu verleiten suchen oder die Abklärung des Sachverhalts auf andere Weise gefährden. Nach der bundesgerichtlichen Praxis bedeutet Kollusion insbesondere, dass sich der Angeschuldigte mit Zeugen, Auskunftspersonen, oder Mitangeschuldigten ins Einvernehmen setzt oder sie zu wahrheitswidrigen Aussagen veranlasst, oder dass er Spuren und Beweismittel beseitigt. Die strafprozessuale Haft wegen Kollusionsgefahr soll verhindern, dass der Angeschuldigte die Freiheit dazu missbrauchen würde, die wahrheitsgetreue Abklärung des Sachverhalts zu vereiteln oder zu gefährden. Die theoretische Möglichkeit, dass der Angeschuldigte in Freiheit kolludieren könnte, genügt indessen nicht, um die Fortsetzung der Haft unter diesem Titel zu rechtfertigen. Es müssen vielmehr konkrete Indizien für die Annahme von Verdunkelungsgefahr sprechen. Das Vorliegen des Haftgrunds ist nach Massgabe der Umstände des jeweiligen Einzelfalles zu prüfen (<ref-ruling> E. 3.2 mit Hinweisen).
Konkrete Anhaltspunkte für Kollusionsgefahr können sich nach der Rechtsprechung des Bundesgerichts namentlich ergeben aus dem bisherigen Verhalten des Angeschuldigten im Strafprozess, aus seinen persönlichen Merkmalen, aus seiner Stellung und seinen Tatbeiträgen im Rahmen des untersuchten Sachverhalts sowie aus den persönlichen Beziehungen zwischen ihm und den ihn belastenden Personen. Bei der Frage, ob im konkreten Fall eine massgebliche Beeinträchtigung des Strafverfahrens wegen Verdunkelung droht, ist auch der Art und Bedeutung der von Beeinflussung bedrohten Aussagen bzw. Beweismittel, der Schwere der untersuchten Straftaten sowie dem Stand des Verfahrens Rechnung zu tragen (<ref-ruling> E. 3.2.1 mit Hinweisen). Nach Abschluss der Strafuntersuchung (und insbesondere nach Durchführung einer erstinstanzlichen Hauptverhandlung) bedarf der Haftgrund der Kollusionsgefahr einer besonders sorgfältigen Prüfung. Er dient primär der Sicherung einer ungestörten Strafuntersuchung. Zwar ist auch die richterliche Sachaufklärung vor unzulässigen Einflussnahmen zu bewahren. Dies gilt insbesondere im Hinblick auf die (in der Regel beschränkte) Unmittelbarkeit der Beweisaufnahme anlässlich der Hauptverhandlung. Je weiter das Strafverfahren vorangeschritten ist und je präziser der Sachverhalt bereits abgeklärt werden konnte, desto höhere Anforderungen sind jedoch grundsätzlich an den Nachweis von Verdunkelungsgefahr zu stellen (<ref-ruling> E. 3.2.2 mit Hinweisen).
5.4 Bei der dem Beschwerdeführer vorgeworfenen Straftat handelt es sich um ein schweres Delikt. Den Aussagen der mutmasslich Geschädigten dürfte bei der Beurteilung der gegenüber dem Beschwerdeführer erhobenen Vorwürfe durch den Sachrichter zentrale Bedeutung zukommen, zumal der Beschwerdeführer nicht geständig ist. Dass es sich bei der mutmasslich Geschädigten um die Ehefrau des Beschwerdeführers handelt, erhöht die Wahrscheinlichkeit einer Beeinflussung durch den Beschwerdeführer im Falle einer Haftentlassung. Die Annahme der Vorinstanz, dass die Geschädigte im Rahmen der erstinstanzlichen Hauptverhandlung erneut als Zeugin zu befragen sein wird, erscheint nachvollziehbar und zwar unabhängig davon, ob noch die geltende Strafprozessordnung des Kantons Zürichs (vgl. § 179 und 280 StPO/ZH) oder bereits die Schweizerische Strafprozessordnung vom 5. Oktober 2007 (StPO; AS 2010 1881) zur Anwendung gelangen wird. Hinzu kommt, dass der Beschwerdeführer vor seiner Verhaftung gegenüber weiteren Zeugen drohende Äusserungen erhoben haben soll. Unter diesen Umständen hält die Annahme der Vorinstanz, im Falle des Beschwerdeführers bestehe trotz der weit fortgeschrittenen Strafuntersuchung Kollusionsgefahr, vor Bundesrecht stand. Ersatzmassnahmen erscheinen nicht geeignet, der Kollusionsgefahr ausreichend zu begegnen.
6. Nach dem Gesagten kann offen bleiben, ob neben Kollusionsgefahr auch der besondere Haftgrund der Fluchtgefahr erfüllt wäre. Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit auf sie einzutreten ist. Der Beschwerdeführer ersucht um unentgeltliche Prozessführung und Rechtsverbeiständung. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen:
2.1 Es werden keine Kosten erhoben.
2.2 Dem Rechtsbeistand des Beschwerdeführers, Rechtsanwalt Dr. Hugo Werren, wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 1'500.-- ausgerichtet.
3. Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft IV des Kantons Zürich und dem Bezirksgericht Zürich, Haftrichter, schriftlich mitgeteilt.
Lausanne, 30. September 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Mattle