後白河天皇
伝承としてこの絵巻物は、承安元年（1171年）高倉天皇に嫁いだ平清盛の娘平徳子に対して、彼女の叔母にあたり後白河天皇の女御だった平滋子が贈ったとする説がある。後白河天皇が、絵巻物好きで好色な人物であったことを考えると、小柴垣草紙も後白河の意向で制作された可能性が高い。