После воцарения Александра I положение Толстого ещё более упрочилось. В течение 13 лет он пользовался правом беспрепятственного входа к императору, а также повсюду сопровождал его. При этом Николай Александрович продолжал не вмешиваться в вопросы, лежащие за пределами его прямых придворных обязанностей. Сохранились сведения, что перед битвой под Аустерлицем генерал Кутузов, предвидя поражение, просил Толстого повлиять на императора и отговорить того от битвы, на что Николай Александрович ответил, что его дело пулярки и вина, а война дело генералов.