В апреле 1709 года, Пётр I вместе с корабельным мастером Ричардом Козенцом, проплывая по Дону из Воронежа в Азов, осмотрел земли при впадении реки Осередь в Дон и выбрал место для сооружения верфи. Р. Козенец составил первый чертёж будущей верфи. 21 мая 1709 года Пётр I отмечал в своём путевом дневнике, что флот будет строиться в Таганроге и «на Середе, где надлежит вместо Воронежа завесть верфь (и почать оное сего же лета»). Пётр утвердил чертежи доков и крепости на Осереди, которые после Полтавской битвы доставил корабельный мастер Ф. М. Скляев. Для работ на строительстве крепости и верфи было прислано более трёх тысяч шведов, взятых в плен под Полтавой. В том же году началось строительство корабельной верфи и нового города, первоначально получившего название «Осеред». С 1710 по 1713 год обер-комендантом крепости Осеред являлся ближний стольник С. А. Колычёв.