Japansk terrier er en etterkommer av den britiske foxterrieren, som ble bragt til Nagasaki i Japan med hollandske frakteskuter i den 17. århundre. Om disse hundene kom fra England eller Holland er imidlertid uklart. I Japan ble foxterrieren krysset med andre små lokale hunder, uklart av hvilke raser, til den framsto lik den japanske terrieren vi nå kjenner. En teori er at foxterrier blant annet ble krysset med italiensk mynde, men dette har ikke latt seg bekrefte. En annen teori er at den blant annet ble krysset med kinesisk nakenhund, men heller ikke dette har latt seg bekrefte. Resultatet ble uansett en mindre og langt finere hund av type enn foxterrieren. I Japan fikk denne navnet og .