В ноябре 1862 года Пеграму присвоили звание бригадного генерала, и он стал командовать кавалерийской бригадой. В декабре, перед сражением при Стоун-Ривер, Пеграм обеспечивал разведку, причем начальство было недовольно результатами его действий. В марте 1863 года он возглавил неудачный рейд в Кентукки, который окончился разгромом в сражении при Сомерсете. Этот рейд вызвал критику многих офицеров, включая Джона Ханта Моргана. Пеграм подал прошение о переводе его на восток, и в октябре был направлен в Северовирджинскую армию. Перед отъездом он успел принять участие в сражении при Чикамоге, где сражался в составе дивизии Натана Форреста.