以对韵图的由来只能根据历史背景推断。一般认为，韵图的起源跟佛教有关，一个比较合理的推测是这样的：来华传教的僧人爲了学习汉语的语音，他们很自然地会採用在印度通行的一种练音方式，这种练音方式所使用的敎本在梵语里称作悉昙（siddham），悉昙就是将梵文的元音一个个轮流与辅音相拼而制成的音节表。于是就有人对韵书加以分析后仿照悉昙的模式绘制成了汉语的音节表，这就是韵图。
韵图的形式.历来的韵图在结构上都与此图相仿。顶端横栏列声纽（声母），左侧纵栏列韵目，右侧标明目次（页码）、转和唿，中