Wieś założona przed 1065 (pierwsza wzmianka w tzw. Falsyfikacie Mogileńskim), jedna z najstarszych polskich kasztelanii. W 1136 r. Bulla papieża Innocentego II wydana dla arcybiskupstwa gnieźnieńskiego wymieniła wśród innych grodów Polski Centralnej "Sarnov" – czyli Żarnów. Był to gród wiązany z tzw. kasztelaniami zapilickimi – grupą trzech ośrodków administracji państwowej – Żarnowa, Skrzynna/Skrzyńska i Małogoszcza. Z 1191 r. pochodzi wzmianka wymieniająca kościół (capella) w Żarnowie, pośród siedmiu świątyń znajdujących się w uposażeniu kolegiaty sandomierskiej. Powstanie kościoła należy być może wiązać z osobą księcia Kazimierza Sprawiedliwego. W XII wieku był więc Żarnów znaczącym ośrodkiem, siedzibą przedstawiciela książęcej administracji, posiadającym własny gród i kościół. W roku 1224 wymieniony jest Falibóg, kasztelan żarnowski. W 1243 na dokumencie Konrada Mazowieckiego wystąpił "palatinus" żarnowski. W latach 1415–1876 miejscowość posiadała prawa miejskie. Mimo upadku znaczenia Żarnowa w XIV w. na korzyść Opoczna, tytuł kasztelana żarnowieckiego przetrwał do końca I Rzeczypospolitej. Podczas potopu szwedzkiego miała miejsce bitwa pod Żarnowem.