Sachverhalt:
A. Am 8. Februar 2010 reichte die X._ AG beim Betreibungsamt Z._ ein Betreibungsbegehren gegen Y._ ein. Mit Verfügung vom 4. März 2010 trat das Betreibungsamt mangels örtlicher Zuständigkeit nicht darauf ein.
B. Dagegen gelangte die X._ AG mit Beschwerde vom 10. März 2010 an das Kantonsgericht Appenzell Innerrhoden als Aufsichtsbehörde und verlangte die Verpflichtung des Betreibungsamtes zur Durchführung des Betreibungsverfahrens. Mit Entscheid vom 27. April 2010 wies das Kantonsgericht die Beschwerde ab.
C. Dem Bundesgericht beantragt die X._ AG (nachfolgend Beschwerdeführerin) in ihrer Beschwerde vom 6. Mai 2010 sinngemäss die Aufhebung des kantonsgerichtlichen Entscheides und die Rückweisung an das Betreibungsamt mit der Anweisung, auf das Betreibungsbegehren gegen Y._ (nachfolgend Beschwerdegegner) einzutreten.
Das Kantonsgericht hat die kantonalen Akten zugestellt, auf eine Beschwerdeantwort aber verzichtet. Das Betreibungsamt hat sich nicht vernehmen lassen.

Erwägungen:
1. 1.1 Entscheide in Schuldbetreibungs- und Konkurssachen unterliegen der Beschwerde in Zivilsachen (<ref-law>). Der Entscheid der einzigen Aufsichtsbehörde (Art. 75 Abs. 1 und 2 lit. a BGG i.V.m. <ref-law>), auf das Betreibungsbegehren nicht einzutreten, stellt einen Endentscheid im Sinne von <ref-law> dar (<ref-ruling> E. 1.3 S. 156). Die Beschwerde ist unabhängig von einer gesetzlichen Streitwertgrenze zulässig (<ref-law>).
1.2 Bei der Beschwerde in Zivilsachen handelt es sich grundsätzlich um ein reformatorisches Rechtsmittel (<ref-law>). Sollte sich die Verneinung der örtlichen Zuständigkeit als bundesrechtswidrig erweisen, könnte das Bundesgericht in der Sache nicht selber entscheiden. Aus den Rechtsbegehren und der Beschwerdebegründung (<ref-ruling> E. 4 S. 122) wird ersichtlich, dass die Beschwerdeführerin in der Sache eine Rückweisung an das Betreibungsamt verlangt (betreffend der Möglichkeit einer gleichzeitigen Rückweisung an die Vorinstanz zur Neuverlegung der Kosten im kantonalen Rechtsmittelverfahren vgl. <ref-ruling> E. 4 S. 80). Die Anträge sind damit nicht zu beanstanden (<ref-ruling> E. 1.2 S. 41).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), es sei denn, die Sachverhaltsfeststellung sei offensichtlich unrichtig und damit willkürlich (<ref-law>; <ref-ruling> E. 1.5 S. 401) oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (<ref-law>) und die Behebung des gerügten Mangels könne für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Der Beschwerdeführerin obliegt gemäss <ref-law>, Willkür klar und detailliert und, soweit möglich, belegt zu rügen und im Einzelnen darzulegen, inwiefern die angefochtene Beweiswürdigung an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 41) und sich deshalb im Ergebnis nicht mehr halten lässt (<ref-ruling> E. 5.2.2 S. 322).
Diesen Anforderungen genügt die Begründung auf den Seiten 4 - 6 der Beschwerde nicht. Die Beschwerdeführerin beruft sich in ihrer ausführlichen Tatsachendarstellung massgeblich auf ein früheres Betreibungsverfahren gegen den Beschwerdegegner, auf welches das Kantonsgericht gar nicht abgestellt hat. Die Beschwerdeführerin weicht dadurch von den kantonsgerichtlichen Tatsachenfeststellungen ab. Willkür ist damit nicht dargetan (vgl. <ref-ruling> E. 4.3 S. 522).
1.4 Vor Bundesgericht dürfen keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). Die von der Beschwerdeführerin eingereichten Beweismittel befinden sich fast ausnahmslos bereits bei den kantonalen Akten. Soweit dies nicht der Fall ist (Betreibungsbegehren aus einem früheren Verfahren in der Beschwerdebeilage 3), ist dieses Beweismittel unzulässig und unbeachtlich (<ref-ruling> E. 4.4.3 S. 128 f.).
2. 2.1 Im bundesgerichtlichen Verfahren ist einzig strittig, ob der Beschwerdegegner an seinem ehemaligen schweizerischen Wohnsitz betrieben werden kann.
2.2 Der Ort der Zwangsvollstreckung bestimmt sich - auch in internationalen Verhältnissen - nach dem SchKG (<ref-ruling> E. 3a S. 507 f.). Nach <ref-law> ist der Schuldner an seinem schweizerischen Wohnsitz zu betreiben. Das Betreibungsrecht knüpft hierbei an das Zivilrecht an (<ref-law>; in internationalen Verhältnissen <ref-law>, vgl. dazu: <ref-ruling> E. 2a S. 8).
Gibt der Schuldner seinen bisherigen Wohnsitz auf, ohne dass er irgendwo einen neuen begründet, ist aber die Wohnsitzfiktion nach <ref-law> nicht anwendbar. Er kann nun allenfalls an einem besonderen Betreibungsort belangt werden (<ref-law>), beispielsweise gestützt auf <ref-law> an seinem schweizerischen Aufenthaltsort (<ref-ruling> E. 2 S. 52 f., 54 E. 2a S. 55).
3. 3.1 Aus der kantonsgerichtlichen Sachverhaltsfeststellung folgt, dass der Beschwerdegegner sich bei der Einwohnerkontrolle der zuständigen Gemeinde im April 2007 (ordnungsgemäss) abgemeldet und die Schweiz nach Deutschland verlassen hat. Es kann deshalb davon ausgegangen werden, dass er dort einen neuen Wohnsitz oder zumindest Aufenthaltsort begründet hat (Ziff. 6b des angefochtenen Entscheides).
Diese Sachverhaltsfeststellungen werden von der Beschwerdeführerin nicht bestritten und sind damit für das Bundesgericht verbindlich (E. 1.3 oben).
3.2 Hat der Beschwerdegegner damit seinen Wohnsitz in der Schweiz im Jahr 2007 aufgegeben und die Schweiz verlassen, ist eine Betreibung gestützt auf <ref-law> (und <ref-law>) nicht möglich. Das Vorliegen eines Betreibungsortes gemäss den <ref-law> wird von der Beschwerdeführerin nicht behauptet und ist auch nicht ersichtlich. Damit fehlt es an einem schweizerischen Betreibungsort und der kantonsgerichtliche Entscheid ist nicht zu beanstanden.
4. Aus diesen Gründen muss die Beschwerde abgewiesen werden, soweit darauf einzutreten ist. Die Beschwerdeführerin trägt die Kosten des Verfahrens (<ref-law>). Eine Parteientschädigung ist von vornherein nicht geschuldet, da in der Sache keine Vernehmlassungen eingereicht wurden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien (dem Beschwerdegegner durch Publikation im Bundesblatt), dem Betreibungsamt Z._ und dem Kantonsgericht Appenzell I.Rh., Aufsichtsbehörde SchKG, schriftlich mitgeteilt.
Lausanne, 30. August 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Escher Bettler