Gebirtig tjenestegjorde i fem år i den østerriksk-ungarske hæren. Først i 1920, under den andre polske republikken, ga han ut den første sangsamlingen sin, med den talende tittelen («Fra folket»). Sangene hans spredte seg raskt, og mange så dem som rene folkesanger. Kjente jiddisch-språklige sangere og skuespillere som Molly Picon fremførte sangene til Gebirtig, og de ble vanlige innslag i mange slags teaterframføringer på jiddisch verden over.