Ar 1864 föll han dock i onåd och höllsfången