Andre tilbakeslag fulgte i rask rekkefølge. Størstedelen av xhosapolitiet deserterte, mange av dem tok med seg sine våpen. Oppmuntret av sin innledende suksess, omringet og angrep xhosaene Fort Cox hvor guvernøren var stasjonert med et lite antall soldater med en voldsom styrke. Mer enn et mislykket forsøk ble gjort på å drepe Smith, og han trengte å finne en fluktvei. I ledelsen for 150 geværmenn til hest, fulgt av oberst Mackinnon, galopperte han ut av fortet og red til King William's Town gjennom tung fiendtlig ild, en distanse på 19 km.