Именно так нейросети и обучают. Просто лучше обучать на примере множества голосов, используя свой собственный как один из вариантов. Иначе нейронка будет говорить только вашим голосом, а точнее, похожим на него.