L'histoire du Petit chien russe, ou Russkiy toy, est intimement liée à celle du Terrier anglais d'agrément en Russie. En effet, le Terrier anglais d'agrément était l'une des races les plus populaires en Russie jusqu'à la révolution qui amena la race au bord de l'extinction. Ainsi après la révolution des groupes de passionnés voulurent recréer la race, mais comme il y avait très peu de chiens pur race, beaucoup de mélanges avec des chiens sans pedigree eurent lieu. Du fait de la guerre froide, et de l'isolement de la Russie avec le reste du monde, le Petit chien russe évolua très différemment du Terrier anglais d'agrément, ce qui en fit une race tout à fait différente. En effet, le Petit chien russe est beaucoup plus petit, a le stop est plus marqué et le chanfrein plus court que son ancêtre.
En Russie, la race commença à devenir populaire dès le début des années soixante, puisque plusieurs chiens possédant des généalogies connues furent présentés lors de différentes expositions. C'est aussi à cette période qu'apparurent les deux variétés de la race : les poils longs et les poils courts.