Вперше вулиця згадується 1893 року, як Кавказька. Назва походить від того, що на цій вулиці селилися представники кавказьких народів або ж солдати-відставники, що повернулися після кавказької війни 1817—1864 років. 1941 року її було перейменовано на вулицю Дзержинського, на честь радянського державного діяча, одного з організаторів «червоного терору» Фелікса Дзержинського. Під час німецької окупації 1941-1943 років мала назву — вулиця Грінченка, на честь українського мовознавця та етнографа Бориса Грінченка, по війні їй була повернена довоєнна назва — вулиця Дзержинського. 1992 року вулиці повернена історична назва, яку вона має й дотепер.