Stary Oskol entstand aus einer Festung, die Teil des südlichen Festungswalls rund um Moskau war, und 1593 zur Sicherung des Russischen Reiches an der östlichen Grenze gegen die Angriffe der Krimtataren gegründet wurde. Die Stadt wurde 1617 von Polen erobert und niedergebrannt, um kurze Zeit später wiederaufgebaut zu werden. Sie war Kriegsschauplatz im Russischen Bürgerkrieg. 1919 wurde die Stadt kurzzeitig der Ukraine zugesprochen. Im Zweiten Weltkrieg wurde Stary Oskol vom Sommer 1942 bis zum Februar 1943 von der Wehrmacht besetzt und im Zuge der Woronesch-Kastornoje-Operation von den Einheiten der Woronescher Front wieder befreit. Industrialisierung und Bevölkerungswachstum setzten im großen Ausmaß erst nach dem Zweiten Weltkrieg ein.