I ble Baker arrestert i Harlem for narkotikarelaterte lovbrudd. Han ble innsatt i fengselet på . Bill Grauer fra platefirmaet Riverside betalte kausjon for ham, og Baker dro til Europa. I Paris ble trompeten hans stjålet, og han oppdaget flygelhornet. I ble han arrestert i Tyskland for besittelse av narkotika, og utvist fra landet.