В апреле 1854 года вновь определён на службу в гусарский полк ротмистром. При осаде Силистрии, Долгоруков был ординарцем при фельдмаршале Паскевиче, затем адъютантом князя М. Д. Горчакова и участвовал в обороне Севастополя, сражаясь на 4 бастионе. При выступлении из Севастополя Долгоруков получил опасное поручение сжечь мост, что и выполнил под сильным неприятельским обстрелом. В 1859 году выйдя в отставку, полковник Долгоруков посвятил себя общественной деятельности.