是贺兰敏之的不孝和贪财。荣国夫人死后，未等丧期满，贺兰敏之便脱下孝服，“奏音乐”娱乐开了。武则天对母亲的感情相当深厚，在荣国夫人死后，她拿出了一批金银财宝，为母亲修建佛寺，但这笔钱财到了贺兰敏之的手里后，他竟然据为己有。
在这种情况下，武则天便堂而皇之地严惩了这位“长安第一美男”，将其“流雷州”。贺兰敏之最后死在流放的路上，但到底是怎么死的，有不同说法。《新唐书》上称，贺兰敏之系“道中自经死”，即走到半路上自缢而亡。这个说法不太合理，当时是有人押送的，即便贺兰敏之想自杀，能自杀成吗?可信的说法是，贺兰敏之是被武则天派的人用马缰勒死的。或许武则天早就想弄死这位该死的姨侄儿了!