潘安一生只有一位妻子，名叫杨容姬，是西晋名儒杨肇的女儿，出生于249年，在10岁，便与12岁的潘安定亲了，再年长一些到了适婚年纪，潘安便与杨容姬完婚了，婚后有一儿一女，不过儿子在襁褓夭折，女儿十二岁时也病逝了