瑗试探不果，知道结局将不妙，再次要求“归田里”。又是“上不许。”

    高宗是绝对要让韩瑗闭嘴的，但是岂能让他走得如此干净，还反过来给自己这个皇帝戴上一个“无故贬退旧臣”的名声？果然，没有多久，许敬宗和李义府就出手了。两人一齐上奏，诬陷韩瑗、来济与外放的禇遂良勾结，想要图谋不轨。奏章一上，高宗全本照准。韩瑗背着罪名，从锦绣长安被贬出京城，做了振州（海南三亚）刺史，来济则贬为台州（浙江临海）刺史，禇遂良加贬为爱州（越南清化

    ）刺史，可怜的王皇后舅父柳奭加贬为象州（广西象州）刺史，长孙无忌的表弟高履行也由堂堂太常卿驸马都尉贬为益州（成都）长史。