户、伶人之妻通常都是女乐、女伶，虽然以卖艺为主，但有时亦会与皇室及贵族发生性关系。明刘辰所着的《国初事迹》也有记载，当时南京娼妓家的男子指令必须“头戴绿巾”。后来龟蛇之说、头巾之绿、娼妓之家等说法被集合、附会，绿头巾才被定型为专指妻子不贞之男子。清朝赵翼《陔余丛考》关于绿头巾的介绍中，指明制乐人用碧绿巾裹头，因此吴人把妻子有淫行的男子称为绿头巾。「绿帽子」一词则是清朝以后的用法，易实甫作《王之春赋》就有“帽儿改绿，顶子飞红”之句，描绘了当时官场的性贿赂。于是「绿头巾」或「绿帽子」就成为妻子与人通姦的男子