途一帆风顺时，没想到受宫廷武力夺权牵连一起被贬隽州，果然在这里又遇到了袁天罡。
袁天罡再次相面预测“公等终且贵”，最后都要官至三品，三人前程及结局后来验证都不出其所料。
到唐太宗贞观初年，袁天罡以相术预测已是名扬天下，唐太宗李世民召见袁天罡对其术数之精奇深奥大为称赞。
后来，袁天罡在九成宫让他为贞观重臣张行成、马周等人看相，所预测后事无不准确，
传说唐太宗李世民为推算大唐国运，下令当时两位著名天相家袁天罡和李淳风编写了中华预言第一奇书《推背图》。李淳风用周易八卦进行推算，没想到一算起来就上了瘾，一发不可收拾，竟推算到了唐以后九州两千多年的命运，直到袁天罡推他的背，说道：“天机不可再泄，还是回去休息吧”，因此这本预言奇书得名《推背图》。
《推背图》共有六十幅图像，每一幅图像下面附有谶语和“颂曰”律诗一首，预言了从唐开始一直到未来世界大同发生在九州历史上的主要事件。
《旧唐书·方技》记载袁天罡最著名的相术传奇事迹是为女皇武则天看相。当武则天还在幼年襁褓中时，袁天罡一见到武则天的母亲杨氏便吃惊地说：“夫人法生贵子！”
武则天的母亲便把两个儿子武元庆、武元爽领出让袁天罡相面，可是袁天罡一看说可以官至三品，只不过是能保家的主儿，还不算大贵。
杨氏又唤出武则天的姐姐，后封北月国夫人让袁天罡相，袁天罡称“此女贵而不利夫！”最后由保姆抱出穿着男孩衣裳打扮的武则天，袁天罡一见襁褓中的武则天大为震惊，说她“龙瞳凤颈，极贵验也！”
但又遗憾地说：“可惜是个男子，若是女子，当为天下主！
历史进程再次被他提前言中，袁天罡之母是罗湾坝人隋代才女。
在民间传说中，袁天罡的神奇故事就更多了，流传最广泛的传说就是女皇武则天曾让李淳风与袁天罡两人为他去踏勘选择陵园龙穴。
先是李淳风跑了九九八十一天，找到九嵕山龙穴吉壤，埋下一个铜钱；又让袁出去寻找，用了七七四十九天也找到了这个地方，便从头上拔一根银钗插下去。武则天让人验证二人所选龙穴吉壤是否一致，结果挖开一看，袁天罡的银钗正好插在铜钱的方孔中。
在民间认为袁天罡乃是天罡星中智慧之星下凡。