Vuonna 1370 Virolahti mainitaan itsenäisenä seurakuntana. Virolahden emäpitäjä rajoittui lännessä Vehkalahteen, idässä Säkkijärveen ja pohjoisessa Lappeeseen. Juhana III:n Venäjän sota oli Virolahdelle hyvin ankara ja monet vanhat, keskiaikaiset talonpoikaissuvut hävisivät kokonaan. 1600-luvulla Virolahdelta läänityksiä saivat von Ritter, von Vietinghoff, von Wicken, Klick, von Gertten, Böckling, Schulman, Mellin, Paijkull, Reet ja von Ungern-Sternberg -suvut, mutta läänitykset peruutettiin isossa reduktiossa. Myöhemmin Uudenkaupungin rauhan raja kulki alueen poikki. Vuonna 1743 (Turun rauhassa) Virolahti jäi kokonaan Venäjälle ja tuli osaksi ns. Vanhaa Suomea. Suomen suuriruhtinaskuntaan Vanha Suomi palautettiin vuonna 1812. Virolahdella alkoi 1700-luvulla louhostoiminta Pietarin rakentamisen tarpeisiin. Muun muassa Iisakinkirkon pylväät ovat Virolahden Pyterlahden graniittia.