При тези обстоятелства Гарванов председателства Солунския конгрес в началото на 1903 година, който взема решение за вдигане на въстание. Решението за вдигане на въстание било окончателно, но Гарванов искал да го обсъди и с останалите първи хора на организацията. Затова към средата на януари той и Велко Думев пристигнали в София за преговори. В края на краищата Задграничното представителство на организацията в София след дълги дискусии се присъединява към това решение. По това време Гарванов научва за подготовката на терористични актове, които могат да провалят въстанието. След преговори със заговорниците той не успява да предотврати Солунските атентати и при последвалите арести в навечерието на Илинденското въстание Гарванов е заточен „доживот“ на остров Родос.