Das Fort Krishnagiri, auf dem gleichnamigen Berg gelegen, entstand unter der Herrschaft des Vijayanagar-Königs Krishnadevaraya (1509–29). Während der Mysore-Kriege widerstand es zwei britischen Eroberungsversuchen, am Ende des Dritten Mysore-Krieges musste Tipu Sultan die Gegend von Krishnagiri aber an Britisch-Indien abtreten. Die Briten gliederten das Gebiet als Teil des Distrikts Salem in die Provinz Madras ein. Nach der indischen Unabhängigkeit kam das Gebiet 1956 zum neuformierten Bundesstaat Madras (heute Tamil Nadu). 1965 kam Krishnagiri zusammen mit dem Nordteil des Distrikts Salem zum neugegründeten Distrikt Dharmapuri. Als eigenständiger Distrikt wurde Krishnagiri 2004 durch Abspaltung vom Distrikt Dharmapuri gebildet.