Defendiendo esa ciudad, Olivera fue tomado prisionero en 1819 y enviado a la Isla de las Cobras, donde compartió la prisión con Andrés Guazurary y Fernando Otorgués.