Током 1811. примљен је у српску војску, где је од једнога рускога официра добро изучио војни занат. Када је 1813. угушен Први српски устанак Рајовић је побегао у Срем, па онда у Трст и Венецију, где је накратко постао морнар. Пошто му се то није свидело отишао је у Беч, па онда 1815. у Одесу, где је са добрим препорукама примљен код српских трговаца у Одеси. Трговали су храном, али како је цена хране нагло пала 1818. године изгубио је сав новац. После тога вратио се у Београд, где је са братом водио трговину житом до 1825. године.