Najstarsza wzmianka o Raciborowicach pochodzi z roku 1268. W miarę rozwoju wieś podzieliła się na Raciborowice Górne i Raciborowice Dolne. Przez kilka wieków wieś była lennem rodu von Zedlitz, następnie von Frankenberg. Po 1945 we wsi zamieszkali obywatele polscy wysiedleni z Kresów Wschodnich (terenów dzisiejszej Ukrainy, Białorusi a także Wileńszczyzny), reemigranci z Jugosławii i Francji oraz osadnicy z centralnej Polski.