Comme son utilité principale était de chasser le petit gibier, il prit le nom du terrain de chasse sur lequel il attaquait. En japonais, le mot Shiba signifie « broussailles ». Ce mot peut être associé au lieu de vie de son gibier, mais également à la couleur de son pelage. Au Japon, pendant l’automne, les broussailles prennent une teinte brune. Cette couleur, on la retrouve sur le pelage du Shiba.