来源已很难追究，但普遍认为其灵感从弓演变而来。最早的纪录至少可追溯到西元前3500年的美索不达米亚地区，在苏美人聚居的乌尔城，现代考古学家从葬坑和皇家陵墓中挖掘出一些古代竖琴。古埃及将竖琴视之为神圣的乐器，用于宗教仪式。后来此古老乐器传入欧洲、美洲和亚洲等地区。《圣经》亦有记载大卫王弹奏竖琴。而欧洲，竖琴最早出现在爱尔兰。无论如何，竖琴在大约一千年前已有相当程度的流行。中世纪时，游吟诗人已使用称为巴地克的竖琴，使其风行整个欧洲。不过直到17世纪的欧洲，竖琴仍未发展完全。1720年，德国的霍布如克（J