Біржішка належав до відомого шляхетного роду. Його прадід Миколас Біржішка був представником у польському Сеймі коли Конституція 3 травня була прийнята у 1791 році; його дідусь Леонардас Біржішка був активним учасником повстання 1830—1831 року; його брати, Вацловас Біржішка та Вікторас Біржішка, були також лідерами литовської громади. Його батько, лікар Антанас Біржішка, відхилив можливість професорства в Московському університеті, щоб практикувати медицину в сільській місцевості Литви.