Under den nordiske syvårskrigen var De la Gardie satt til å forsvare Varberg festning, men den 28. august 1565 måtte man oppgi forsvaret da man ikke lenger kunne motstå de svenske angrepene.