Raith Rovers ble stiftet i 1883. I 1891/1892-sesongen var de med i Midland League, men fortsatte deretter utenfor seriespill fram til 1901, da de ble med i Northern League. Året etter ble de valgt inn i Scottish Football League (Division 2). Klubben vant 2. divisjon i 1908, men ble ikke valgt inn i 1. divisjon. Etter 2.-plass de to neste sesongene ble klubben valgt inn i øverste divisjon i 1910. I 1913 spilte Raith Rovers sin første og hittil eneste FA-cup-finale, da de tapte 0-2 for Falkirk.