Era hermano de Jesse James, y empezó con él como miembro de los guerrilleros sudistas Quantrill Riders y participó en la masacre de Lawrence, pero en 1865 organizó con su hermano y los hermanos Younger una banda que se hizo famosa por los atracos en bancos y trenes, así como los enfrentamientos contra los detectives de la agencia Pinkerton.