唐景云二年(公元711年)十月的一天，唐睿宗李旦召见宰相韦安石、郭元振、窦怀贞、李日知、张说等，责备道：“当今各地水旱成灾，国库储备日渐枯竭，官吏僚属日益增多，出现这些情况，固然是我德行不够所致，但也与你们大有关系。”
    唐睿宗下令：“从现在起，韦安石任尚书左仆射、东都留守，郭元振任吏部尚书，窦怀贞任左卿史大夫，李日知任户部尚书，张说任尚书左丞，一律免去宰相职务。”
    《资治通鉴》里记载：“皆太平公主之志也。”对这些宰相的处置，都是太平公主的意思。
    由宰相降为东都留守，很显然，太平公主对韦安石不感冒，或者说，韦安石不是太平公主的人。
    不依附太平公主险遭大难|
    韦安石，唐京兆万年(今陕西西安)人，武则天时期和唐中宗、唐睿宗时期，先后四次拜相，曾被武则天称赞“如此称职，深慰朕怀”。、
    太平公主确实对韦安石不感冒，因为她曾拉拢韦安石，却被拒绝了。
    唐睿宗即位后，他的第三子李隆基为太子。太平公主强势干预政事，但忌惮李隆基精明能干，于是同益州长史窦怀贞等人结成朋党，欲加害李隆基。她让女婿唐晙邀请时任宰相的韦安石到自己家中，但被拒绝了。
    韦安石不但拒绝加入太平公主一方，还处处为李隆基说好话。
    一天，唐睿宗秘密召见韦安石，说：“听说朝中百官都倾心依附太子，你得对此多加留意。”
    韦安石义正词严地回答：“陛下从哪里听到这种亡国之音?这一定是太平公主在挑拨您和太子的关系。太子为宗庙社稷立下大功，且为人仁德明智，孝顺父母，友爱兄弟，这是天下人都知道的事儿，希望陛下不要被谗言所迷惑。”
    唐睿宗一听恍然大悟。
    唐睿宗明白了，太平公主却生气了，因为唐睿宗和韦安石谈话的时候，她就在帘子后面偷听呢!
    被气得咬牙切齿的太平公主让人四处散布流言，对韦安石横加陷害，还要将他逮捕入狱，多亏另一个宰相郭元振搭救，他才幸免于难。
    “此真宰相也”
    这已不是韦安石第一次到洛阳任东都留守。武则天时期的长安三年(公元703年)，韦安石就曾被回长安小住的女皇任命为神都(洛阳时称神都)留守，兼管刑部、吏部事务。
    武则天十分赏识韦安石，但韦安石不给女皇面子，竟上书弹劾她的男宠张易之、张昌宗。
    长安四年(公元704年)三月，已为鸾台侍郎、知纳言事、同凤阁鸾台三品的韦安石，举报张易之等人所犯罪行，要求严惩。
    武则天下令将张易之等人交付韦安石和唐休璟审讯，但没等审讯结束，就将韦安石和唐休璟调离京城，此事不了了之。
    根据《资治通鉴》记载，韦安石还曾数次当面让张易之兄弟难堪。
    有一次，韦安石等大臣在宫中陪武则天用膳，看见张易之招集四川富商宋霸子等人在一旁赌博，便跪下向武则天进奏：“商贾之徒，名列贱籍，没有资格参加宫中的宴会。”说完，不等武则天发话，韦安石直接让侍卫将宋霸子等人轰了出去，可把在座的其他人给吓坏了!
    《旧唐书》记载：“时凤阁侍郎陆元方在座，退而告人曰：‘此真宰相也，非吾等所及也。’”
    “这不过是想让我死罢了”
    这样一个被人称赞的韦安石，最后却被人陷害了。
    韦安石任东都留守时，其女儿病逝，他的夫人薛氏怀疑女婿的宠婢用巫术害了女儿，于是“使人捕而捶之致死”。
    此事发生后，韦安石受到御史中丞杨茂谦的弹劾，被贬为蒲州刺史。
    韦安石在蒲州做刺史时，太常卿姜皎托他办事，他没有搭理，竟惹恼了姜皎。
    后来，姜皎的弟弟姜晦做了御史中丞，指使人弹劾韦安石，说他在唐中宗时期身为宰相却对韦后之乱不能匡正，理应治罪。已由蒲州刺史改任青州刺史的韦安石，被贬为沔(miǎn)州员外别驾。
    姜晦穷追不舍，再次上书，称韦安石在督造定陵时曾贪隐官府财物。唐玄宗下令沔州州官追赃，韦安石听后长叹：“这不过是想让我死罢了!”于是，他“愤激而卒，年六十四”。