更值得称奇的是竟然与自己的外祖母杨氏（既荣国夫人，武则天的母亲）有奸情，平日也仗着杨氏的关系恃宠而骄，为人轻佻，让武后很不高兴。
外祖母杨氏的丧期还没有过，敏之便已换下丧服，招妓奏乐享乐。当时太平公主（武则天的小女儿）年幼，前往武家人的宅邸时常有许多宫女随行，而敏之也逼淫这些随行的侍女。
传闻，贺兰敏之奸淫的不仅仅只有那些侍女，还有当时年幼的太平公主。这些也只是在野史当中提及过，但观这人与其外祖母都能私通，做出如此之事，不足为奇。
那武则天之父武士彟原本娶相里氏为妻，生下武元庆与武元爽兄弟。后来再婚娶杨氏，生武则天姊妹三人。武则天成为皇后以后，大封自己亲族，并封母亲杨氏为荣国夫人，武顺为韩国夫人。不过因为武士彟死后，元庆与元爽对继母杨氏没有礼貌，武后便将这两位兄长流放外地。
兄长死后，便以姊姊韩国夫人的儿子贺兰敏之做武士彟的后嗣，并让他改姓武，“弘文馆编《三十国春秋》一百卷”“朝内士子交游甚众”，累官至兰台太史令、左散骑常侍，袭周国公。
起初，韩国夫人因为武后的关系，得以随意出入皇宫，她年轻貌美的女儿贺兰氏也时常随行，母女两人颇得高宗喜爱。高宗封贺兰氏为魏国夫人，有意想将她纳为嫔妃，但又知道武后一定不准。
武后对这位甥女也很顾忌，便寻机毒杀她。敏之因为妹妹的丧事而入宫吊唁，高宗一见到他，悲恸哭道：「我一早上朝前看她还好好的，没想到退朝后她竟然就身亡了，怎么会这样突然？」敏之听完，只是号哭而没有响应。武后得知后，心想：「这孩子在怀疑我！」从此对她开始心生厌恶。其母武顺的墓碑立于乾封三年（668年），大约死于那一年。
而贺兰氏则是死于乾封元年。
整个贺兰家的辉煌可以说都随着贺兰敏之的结束，走进末途。
陆安康与上官千寻站在红袖招门外，上官千寻问道：“该如何是好？”
“我很想见见贺兰敏之......”
陆安康笑道。说着身形移动，朝着红袖招后门去了。