Starevich nasceu em Vilnius, filho de família polonesa. O pai, Aleksander Starewicz, era de Surviliškis, próximo a Kėdainiai, e sua mãe, Antonina Legęcka, de Kaunas, se escondendo após o fracasso da Insurreição de 1863 contra a dominação russa, tendo vivido na Lituânia, que naquela época integrava o Império Russo. O garoto foi educado por sua avó em Kaunas, então capital do governo local. Frequentou o curso ginasial em Dorpat (hoje Tartu, Estônia).