Era hijo de William Olley, un inglés de Sussex que naufragó en las costas de Rocha, se quedó a vivir en la zona y se casó con María Candelaria Velásquez.