Евграф Давыдов родился в 1775 году в Тульской губернии в семье Владимира Семёновича Давыдова. 29 августа 1791 года вступил на службу вахмистром в лейб-гвардии Конный полк, 10 января 1798 года переведён корнетом в лейб-гвардии Гусарский полк. 31 марта 1803 года — полковник, принимал участие в кампании 1805 года, командовал эскадроном лейб-гвардии Гусарского полка, отличился в битве при Аустерлице, где «"хладнокровием своим доказал отличное мужество"».