I desember 1904 var Østbye den første som spilte inn en grammofonplate i Norge. Platen var (Faktisk var Edvard Grieg den første nordmann som spilte inn grammofonplate, han spilte inn ni plater våren 1903). De norske innspillingene ble foretatt på Grand Hotel, Kristiania.