Као дете је рањен у Првом устанку. По његовој пропасти, Илијина породица пребегла је преко Дунава, али се Илија брзо нашао у Београду, са 30 пара. Радио је као трговачки момак за друге трговце, а 1827. године оженио се ћерком једног од њих Милутина Радовановића, Синђелијом Радовановић, рођеном 1809. године. Отворио је сопствену радњу, болту. Недуго затим, преселио се у Панчево, због страха од кнеза Милоша. Наиме, постоји прича да када је Илија боравио у Београду, "почну неки млађи београђани носити неке капе, са златним ширитима. Кнез Милош, мрзећи на расипање и луксуз, и држећи да му ваља Србе од тог палила склањати, макар каквим мерама, заповеди те се неколико Београђана, с тим златали капама, обале и истуку батинама. Илија се, од те мере, толико уплаши, да је одмах оставио Београд, и преселио се у Панчево." Међутим, сам Коларац ће написати да је у Панчево дошао због трговине и сигурне зараде у царско-краљевској аустријској држави, 1828. године. Тамо је развио велику трговину и са Србијом и унутар Аустроугарске, првенствено са храном, али и са стоком, и веома се обогатио. Извозио је пшеницу, јечам, овас, суражицу, просо и кукуруз. Имао је своје бродове, који су се звали "Немања" и "Свети Ђорђе." Такође, бавио се и узгојем и продајом свиња. Коларац је напустио Панчево 1856. године.