После того как в середине года группа The Jimi Hendrix Experience была распущена, Хендрикс играл с собранным специально для фестиваля «Вудсток 1969» коллективом, который он назвал Gypsy Sun and Rainbows. Басист Билли Кокс также участвовал в этом составе. Этот бэнд просуществовал недолго и был преобразован в Band of Gypsys, в роли ударника выступил друг Билли Кокса Бадди Майлз. Название группы «Band of Gypsys» уже упоминалось Хендриксом на фестивале Вудсток в его вступительной речи. Само же название — дань великому джазовому гитаристу Джанго Райнхардту. Во время поисков его музыкального продюсера он познакомился и начал работать с Бадди. Сначала в состав группы также входили трое перкуссионистов, но они сильно запутывали музыку, поэтому от них пришлось отказаться. Они записали небольшой студийный материал, некоторые части которого были изданы посмертно, и дебютировали на концерте в в канун 1970 года в серии из четырёх шоу, длившихся два дня. На Fillmore East шоу были представлены полные версии песен «Who Knows» и «Machine Gun».