访妻婚夫妻关系也反映了当时女性的不幸，有一次宣孝来到紫式部家，留字条说要去一个比她温柔的女人那边去，紫式部看完，恼羞成怒，便顺手在字条上回道：「像你这种成天拈花惹草的男人，我看，恐怕没有哪一个女人能够水乳交融、真心地温柔对待你。」再遗侍女送到宣孝那边。藤原兼家之第二位妻子、藤原道纲之母、藤原伦宁之女藤原氏（本名不详）所着的《蜻蛉日记》就是描述自己在一夫多妻访妻婚制度下的苦况。此外，平安时代的访妻婚也由最初多名平妻变成有等级之别，《源氏物语》中光源氏的妻子们就有等级差别，当时女性的出身不但影响自己的地位，