Sachverhalt:
A. Am 8. Februar 2010 reichte die X._ AG beim Betreibungsamt Z._ ein Betreibungsbegehren gegen Y._ ein. Mit Verfügung vom 4. März 2010 trat das Betreibungsamt mangels örtlicher Zuständigkeit nicht darauf ein.
B. Dagegen gelangte die X._ AG mit Beschwerde vom 10. März 2010 an das Kantonsgericht Appenzell Innerrhoden als Aufsichtsbehörde und verlangte die Verpflichtung des Betreibungsamtes zur Durchführung des Betreibungsverfahrens. Mit Entscheid vom 27. April 2010 wies das Kantonsgericht die Beschwerde ab.
C. Dem Bundesgericht beantragt die X._ AG (nachfolgend Beschwerdeführerin) in ihrer Beschwerde vom 6. Mai 2010 sinngemäss die Aufhebung des kantonsgerichtlichen Entscheides und die Rückweisung an das Betreibungsamt mit der Anweisung, auf das Betreibungsbegehren gegen Y._ (nachfolgend Beschwerdegegner) einzutreten.
Das Kantonsgericht hat die kantonalen Akten zugestellt, auf eine Beschwerdeantwort aber verzichtet. Das Betreibungsamt hat sich nicht vernehmen lassen.
Erwägungen:
1. 1.1 Entscheide in Schuldbetreibungs- und Konkurssachen unterliegen der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a BGG). Der Entscheid der einzigen Aufsichtsbehörde (Art. 75 Abs. 1 und 2 lit. a BGG i.V.m. Art. 13 Abs. 2 SchKG), auf das Betreibungsbegehren nicht einzutreten, stellt einen Endentscheid im Sinne von Art. 90 BGG dar (BGE 135 V 153 E. 1.3 S. 156). Die Beschwerde ist unabhängig von einer gesetzlichen Streitwertgrenze zulässig (Art. 74 Abs. 2 lit. c BGG).
1.2 Bei der Beschwerde in Zivilsachen handelt es sich grundsätzlich um ein reformatorisches Rechtsmittel (Art. 107 Abs. 2 BGG). Sollte sich die Verneinung der örtlichen Zuständigkeit als bundesrechtswidrig erweisen, könnte das Bundesgericht in der Sache nicht selber entscheiden. Aus den Rechtsbegehren und der Beschwerdebegründung (BGE 135 I 119 E. 4 S. 122) wird ersichtlich, dass die Beschwerdeführerin in der Sache eine Rückweisung an das Betreibungsamt verlangt (betreffend der Möglichkeit einer gleichzeitigen Rückweisung an die Vorinstanz zur Neuverlegung der Kosten im kantonalen Rechtsmittelverfahren vgl. BGE 131 II 72 E. 4 S. 80). Die Anträge sind damit nicht zu beanstanden (BGE 135 II 38 E. 1.2 S. 41).
1.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), es sei denn, die Sachverhaltsfeststellung sei offensichtlich unrichtig und damit willkürlich (Art. 9 BV; BGE 135 III 397 E. 1.5 S. 401) oder beruhe auf einer Rechtsverletzung im Sinne von Art. 95 BGG (Art. 105 Abs. 2 BGG) und die Behebung des gerügten Mangels könne für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Der Beschwerdeführerin obliegt gemäss Art. 106 Abs. 2 BGG, Willkür klar und detailliert und, soweit möglich, belegt zu rügen und im Einzelnen darzulegen, inwiefern die angefochtene Beweiswürdigung an einem qualifizierten und offensichtlichen Mangel leidet (BGE 135 V 39 E. 2.2 S. 41) und sich deshalb im Ergebnis nicht mehr halten lässt (BGE 135 II 313 E. 5.2.2 S. 322).
Diesen Anforderungen genügt die Begründung auf den Seiten 4 - 6 der Beschwerde nicht. Die Beschwerdeführerin beruft sich in ihrer ausführlichen Tatsachendarstellung massgeblich auf ein früheres Betreibungsverfahren gegen den Beschwerdegegner, auf welches das Kantonsgericht gar nicht abgestellt hat. Die Beschwerdeführerin weicht dadurch von den kantonsgerichtlichen Tatsachenfeststellungen ab. Willkür ist damit nicht dargetan (vgl. BGE 135 III 513 E. 4.3 S. 522).
1.4 Vor Bundesgericht dürfen keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (Art. 99 Abs. 1 BGG). Die von der Beschwerdeführerin eingereichten Beweismittel befinden sich fast ausnahmslos bereits bei den kantonalen Akten. Soweit dies nicht der Fall ist (Betreibungsbegehren aus einem früheren Verfahren in der Beschwerdebeilage 3), ist dieses Beweismittel unzulässig und unbeachtlich (BGE 136 III 123 E. 4.4.3 S. 128 f.).
2. 2.1 Im bundesgerichtlichen Verfahren ist einzig strittig, ob der Beschwerdegegner an seinem ehemaligen schweizerischen Wohnsitz betrieben werden kann.
2.2 Der Ort der Zwangsvollstreckung bestimmt sich - auch in internationalen Verhältnissen - nach dem SchKG (BGE 124 III 505 E. 3a S. 507 f.). Nach Art. 46 Abs. 1 SchKG ist der Schuldner an seinem schweizerischen Wohnsitz zu betreiben. Das Betreibungsrecht knüpft hierbei an das Zivilrecht an (Art. 23 ff. ZGB; in internationalen Verhältnissen Art. 20 IPRG, vgl. dazu: BGE 120 III 7 E. 2a S. 8).
Gibt der Schuldner seinen bisherigen Wohnsitz auf, ohne dass er irgendwo einen neuen begründet, ist aber die Wohnsitzfiktion nach Art. 24 Abs. 1 ZGB nicht anwendbar. Er kann nun allenfalls an einem besonderen Betreibungsort belangt werden (Art. 48 ff. SchKG), beispielsweise gestützt auf Art. 48 SchKG an seinem schweizerischen Aufenthaltsort (BGE 119 III 51 E. 2 S. 52 f., 54 E. 2a S. 55).
3. 3.1 Aus der kantonsgerichtlichen Sachverhaltsfeststellung folgt, dass der Beschwerdegegner sich bei der Einwohnerkontrolle der zuständigen Gemeinde im April 2007 (ordnungsgemäss) abgemeldet und die Schweiz nach Deutschland verlassen hat. Es kann deshalb davon ausgegangen werden, dass er dort einen neuen Wohnsitz oder zumindest Aufenthaltsort begründet hat (Ziff. 6b des angefochtenen Entscheides).
Diese Sachverhaltsfeststellungen werden von der Beschwerdeführerin nicht bestritten und sind damit für das Bundesgericht verbindlich (E. 1.3 oben).
3.2 Hat der Beschwerdegegner damit seinen Wohnsitz in der Schweiz im Jahr 2007 aufgegeben und die Schweiz verlassen, ist eine Betreibung gestützt auf Art. 46 SchKG (und Art. 48 SchKG) nicht möglich. Das Vorliegen eines Betreibungsortes gemäss den Art. 50 ff. SchKG wird von der Beschwerdeführerin nicht behauptet und ist auch nicht ersichtlich. Damit fehlt es an einem schweizerischen Betreibungsort und der kantonsgerichtliche Entscheid ist nicht zu beanstanden.
4. Aus diesen Gründen muss die Beschwerde abgewiesen werden, soweit darauf einzutreten ist. Die Beschwerdeführerin trägt die Kosten des Verfahrens (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist von vornherein nicht geschuldet, da in der Sache keine Vernehmlassungen eingereicht wurden (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien (dem Beschwerdegegner durch Publikation im Bundesblatt), dem Betreibungsamt Z._ und dem Kantonsgericht Appenzell I.Rh., Aufsichtsbehörde SchKG, schriftlich mitgeteilt.
Lausanne, 30. August 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Escher Bettler