Baker bodde i Parker, Colorado mellom 1993 og 1999, delvis på grunn av sin interesse for polo. Baker ikke bare deltok i polohendelser i Salisbury Equestrian Park, men sponset også serier series av jamsessions og konserter ved Salisbury Equestrian Park i helgene. Hans tidligere narkotikamisbruk gav ham større og større problemer med U.S. immigration, så i 1999 solgte han eiendommen sin i Parker og flyttet til Sør-Afrika. I 1994, dannet han The Ginger Baker Trio med bassist Charlie Haden og gitarist Bill Frisell.