Birsa begynte sin karriere som guttespiller i den lokale klubben NK Bilje i nærheten av Nova Gorica. Etter dette begynte han å spille ungdomsfotball i NK Primorje, hvor han fikk én seriekamp for førstelaget, før han dro videre til ND Gorica i en alder av 17 år. I sin andre sesong for Gorica ble han regnet som en av klubbens beste angripere da han scoret over 20 mål for sitt lag.