Opprinnelig fantes det tre varianter av shiba i Japan; såkalt (som stammet fra områdene rundt Nagano), (som stammet fra områdene rundt Gifu), og (som stammet fra de nordøstre områdene på Honshu). Alle tre typene har i større eller mindre grad gitt sine bidrag til dagens shiba, men forholdet dem imellom er ukjent. På 1920-tallet var rasen nesten utryddet, idet bare de tre nevnte linjene hadde overlevd. Utbruddet av andre verdenskrig og et utbrudd av valpesyke i 1959 gjorde sitt til at det møysommelige arbeidet med å redde rasen ble vanskelig. Etter utbruddet fantes det kun i tilstrekkelig antall for avlsarbeidet, selv om også de to andre linjene ble benyttet i en viss utstrekning (så langt det var mulig av hensyn til innavl).