Roberto fue hijo de Júlia Margarida de Medeiros Castelo Branco, de apenas 18 años de edad, proveniente de una familia económicamente modesta, y de Robert Breakspeare Ivens, de 30 años, hijo de William Ivens, rico comerciante inglés, residente en Ponta Delgada desde 1800 que había sido galardonado con el Escudo de armas Ivens por Jorge III, en 1816 y murió en 1857; y bisnieto de Thomas Hickling.