Rylsk ble første gang nevnt i en krønike i 1152 som en av de severiske byer. Den ble et senter for et apanasje-fyrstedømme på slutten av 1100-tallet før den havnet under Storhertugdømmet Litauens herskere engang på 1300-tallet. Kasimir IV tildelte den Dmitrij Sjemjakas sønn Ivan, som hadde bosatt seg i Litauen. Ivans sønn Vasilij hoppet over til Storfyrstedømmet Moskva, men litauerne holdt byen til 1522. I Russlands urolige tider var den en av de første byene som ønsket den falske Dmitrij velkommen som tsar. Etter Ukrainas innlemmelse i det russiske keiserdømmet dro Rylsk fordeler av handelen mellom Ukraina og det øvrige Russland, og det bodde mange handelsmenn i byen.