Hijo de un pastor de ovejas blanco, Dick Butler, y una aborigen australiana, Silver, fue criado por su madre y su padrastro, Jinapuka, también aborigen, en Ullawarra Station y Glen Florrie Station, en Australia.