С 1831 года Байков служил на Кавказе, где был начальником Грузинских линейных батальонов, а затем состоял при Отдельном Кавказском корпусе. В 1832 году возглавил группу высших офицеров, расследовавших заговор грузинского дворянства. В 1834 году произведён в генерал-лейтенанты и в 1837 году вышел в отставку. За время нахождения на Кавказе он неоднократно принимал участие в походах против горцев.