Buller nació en Newark en the Bay of Islands, siendo el hijo de un misionero de Cornualles.