Washington forlot Buffalo og spilte med en gruppe fra midtvesten ved navn «Four Clefs». Han ble innkalt til militærtjeneste i United States Army kort tid etter dette, men dette skulle komme til å bli til hans fordel. Der traff han trommeslageren Billy Cobham. Cobham var etablert i New York og introduserte Washington for mange av New York sine musikere. Etter at han forlot militæret, var han freelancer i New York City-området inntil han endte opp i Philadelphia i 1967.