Райчо Каролев е роден на 27 февруари (15 февруари стар стил) 1846 г. в Габрово. От 1863 г. учи в Киев, където завършва семинария (1867) и Духовна академия (1871). След това е учител (1871 – 1875) и директор (1875 – 1876) на взаимното училище в Габрово. След Априлското въстание през 1876 г. е арестуван за кратко. По време на Временното руско управление е училищен инспектор, а от 1880 до 1884 г. е директор на Габровската гимназия. От 1871 г. е дописен, а от 1884 г. – редовен член на Българското книжовно дружество.