Začátky ve šlechtění černého ruského teriéra se uvádí od roku 1947, kdy v tehdejším Sovětském svazu po 2. světové válce prudce klesl počet psů služebních plemen. Úkolu vyšlechtit nové plemeno psů se zhostila Centrální škola služební kynologie a šlechtitelská stanice Rudá hvězda, sídlící nedaleko Moskvy. Důležité bylo to, aby psi nového plemene byli tvrdí a vyrovnaní, použitelní k ostraze a odolní vůči tvrdým klimatickým podmínkám, které v Rusku panují.

Nelehkého úkolu se ujali generálmajor Medveděv a Ilin. Soustředili do Ruské hvězdy zbytky služebních psů - velkého knírače, rotvajlera a erdelteriéra, také novofunlandského psa. Po masovém křížení se ve vrzích začali objevovat mohutní černí potomci s ideálním osrstěním.

Není známo, kolik jiných plemen bylo do tohoto křížení zapojeno, ve vrzích se objevovala štěňata s bílými i hnědými znaky, neplnochrupá i s nepravidelným skusem nebo kryptorchidi. Velmi tvrdou selekcí koncem 50. let se začalo chovat pouze na bezvadných jedincích.

Poprvé byl černý teriér představen v roce 1955 na Všesvazové zemědělské výstavě v Moskvě, kde sklidil obrovský obdiv a zájem kynologické veřejnosti. A také zlatou medaili a diplom speciální výstavy, což v této době bylo to nejvyšší ocenění, jaké mohla šlechtitelská stanice získat. Od roku 1981 se černí teriéři objevují i na kynologicky významných akcích v Evropě, kde získávají řadu nejvyšších ocenění, a tak stoupá jejich obliba u chovatelů. V tomto roce byl také vypracován a schválen centrální standard. Mezinárodní kynologickou federací FCI byl černý ruský teriér zařazen mezi teriéry do skupiny 3 pod č. 327. Jelikož se však svojí konstitucí a strukturou srsti podobal více knírači, příp. flanderskému buvierovi, byla v roce 1996 přijata druhá varianta navrženého standardu i s úpravami a černý teriér byl přeřazen do skupiny 2 mezi knírače, molosoidy, pinče a švýcarské pastevecké psy.