Le Shiba est une race japonaise autochtone depuis les temps les plus anciens. A l'origine, le mot « Shiba » indique quelque chose de petit et « Inu » un chien. Le shiba est à l'origine un chien de chasse au petit gibier et aux oiseaux. Le berceau de la race est situé dans les régions montagneuses face à la mer du Japon. Selon les endroits d'où ils provenaient, il y avait de petites différences physiques entre les sujets de cette race.
Du fait que pendant la période allant de 1898 à 1912, des chiens comme les Setters anglais et les Pointers furent importés au Japon, on se mit à chasser pour le plaisir dans le pays et les Shiba furent fréquemment croisés avec ses chiens, De ce fait le Shiba de pure race devint très rare, si bien qu'entre 1912 et 1926, même dans son habitat naturel, la race se réduisit à l'extrême et est proche de l'extinction.
Vers 1928, des chasseurs et des lettrés entreprennent de sauvegarder les quelques lignées pures. Le Dr Saito se préoccupe notamment de préserver les races de chiens japonais.
En 1928, il fonde avec d'autres intellectuels le Nihonken Hozonkai (Nippo), le club de préservation des races japonaises reconnues officiellement. On compte à l'heure actuelle quatre grandes lignées prédominantes ayant donné naissance à la race shiba :
* Hakuba no Gen (ou Gen)
* Korotama (ou Ichisuke)
* Matsumaru
* Tenkou
En 1934, un standard de la race fut établi.
En 1937, le Shiba fut déclaré « monument naturel », à la suite de quoi la race fut élevée et améliorée pour devenir la magnifique race que nous connaissons aujourd'hui.