Die Spuren menschlicher Besiedlung lassen sich in Varaignes bis ins Paläolithikum zurückverfolgen (Funde bei "Les Roches"). Auch für die Gallo-römische Kultur fanden sich Belege. Die Kirche "Saint-Jean Baptiste" stammt aus dem 12. bzw. 13. Jahrhundert (mit romanischem Chor, romanischem Portal im Limousinstil sowie gotischen Seitenkapellen). Mit dem Bau des Schlosses von Varaignes wurde ebenfalls im 13. Jahrhundert begonnen, im 16. Jahrhundert wurde es dann stark umgebaut. Es besitzt einen Turm (Donjon), Wehrgang, unterirdische Kellergewölbe und ein Eingangsportal im Renaissancestil.