ロスラヴリは1137年にスモレンスク公国のロスティスラフ・ムスティスラヴィチ公により建設された。ロスラヴリ（元の形はロスティスラヴリ）という地名も彼の名からきている。ロスラヴリは1408年にリトアニア大公国の領土となった。フメリニツキーの反乱をきっかけにして起こったロシア・ポーランド戦争ではロスラヴリも戦場となり、アレクセイ・トルベツコイ公によって1654年に占領された。結果1667年のアンドルソヴォの和約によりロシアの領土となった。