很快高纬听到了风声，但他不相信太后会如此大胆。有一次他去参见胡太后的时候，看到胡太后身边有两个打扮得很妖艳的尼姑，长得非常漂亮。高纬也是个好色之徒，他一看到那两个尼姑那么漂亮，顿时动了色心，借口请她们给自己讲解佛法，把她们带走了。胡太后不知道自己的儿子怀着什么心思，觉得儿子还小，应该不会有什么事，放心地让她们跟着高纬走了。
高纬把两个尼姑带到自己房间后，急不可待地命令她们陪自己睡觉。两个尼姑吓得连连摇头，死都不肯。高纬开始还以为她们害羞，后来看她们始终不肯就范，生气了，让侍卫把她们按住，脱下她们的裤子一看，原来是两个男人。高纬气得浑身发抖，下令审讯那两个和尚，两人赶紧一五一十地全部招供了。高纬大发雷霆，把昙献等和胡太后有私情的和尚全部抓起来处死，并且杀掉了胡太后身边的3个郡主，因为她们对胡太后的奸情知情不报。
因为这件事，胡太后和高纬的关系彻底破裂了。高纬谎称邺城有紧急事件，然后穿上盔甲，拿好武器，带领士兵回到邺城，命令将胡太后软禁起来，不久又下令从此以后不管内亲外亲，一律不准和太后见面。过了很久，高纬的气消了后，才把太后迎回了皇宫。当时太后听说皇帝的使者来了，非常害怕，以为皇帝要杀她。高纬虽然把太后接了回来，但是两人的关系已经不能挽回了，高纬对太后从此疑心重重，每次太后请高纬来吃饭，高纬来了之后一口都不敢吃。北周人听说这件事后，派人出使北齐，使者写了一篇《述行赋》，叙述了郑庄公杀死弟弟共叔段并放逐母亲姜氏的故事，文辞虽然不雅，但北齐人因为高纬和太后的关系不好，看后还是感到很羞愧。北齐被北周灭亡后，胡太后恢复了自由之身，仍是任意淫乱，直到隋文帝统治时期去世。