，只是号哭而没有回应。他的姨母武后得知后，说：「这个孩子是在怀疑我！」从此对这个外甥开始心生厌恶。可能是继承了母亲的美貌，贺兰敏之长得非常英俊，竟与外祖母杨氏（即武后生母）及表妹太平公主有姦情，平日也仗着杨氏的关系恃宠而骄，为人轻佻，让武后很不高兴。咸亨二年（671年），杨氏过世，武后拿出一笔钱，命敏之塑一座大佛像来为杨氏祈福，没想到敏之竟将这笔钱中饱私囊。司卫少卿杨思俭之女被选为皇太子李弘之妃，眼看着婚期将至，敏之听说此女甚美，竟将她强姦，以致后来改选裴居道之女裴氏为太子妃。外祖母杨氏的丧期还没有过，