Fra ungdomsårene foretok Passarge reiser gjennom hele Europa, og fastholdt sine inntrykk i bøker og artikler. Han stod i tett kontakt med forfatteren Ernst Wichert.Ved siden av sine hjemtrakter i Østpreussen og det tilgrensende Baltikum reiste Passarge også på Balkan og Den iberiske halvøy og bidro med vesentlig material til Baedeker i reisebokseriens første utgaver i 1897 om disse områdene. Under sine opphold i Skandinavia ble han kjent med Henrik Ibsens og Bjørnstjerne Bjørnsons verker. Han ble oversetter og utgiver for flere av dem for det tyske språkområde. I 1879 er han registrert som medlem av Den norske turistforening.