侍御史王义方的母亲，是个深明大义的老太太，当即就说道：“儿啊！自古忠孝两难全，你就如实说吧！说了也能体现你一生正直清明的大义名声。就算是连累了为娘，我也心甘情愿!成全我儿名声大义。”
后来，侍御史王义方就弹劾李义府道：“义府擅杀六品寺丞，理应治罪。”李义府出班辩斥，经王义方三次叱责，这才怏怏退下。唐高宗大怒，认为王义方诋毁大臣、言辞不逊，将他贬为莱州司户。退朝后，李义府得意地问道：“王御史妄加弹劾，惭不惭愧？”王义方正色道：“孔子担任鲁国司寇，仅七天便诛杀少正卯。我王义方就任御史已经十六日，却不能诛杀奸邪，确实有愧。”不久，李义府兼任太子左庶子。唐高宗其实也知道李义府干的好事，可是在政治权利的斗争下，大局最重要，不能自己先断了自己左膀右臂。也只能睁一眼闭一眼的袒护李义府了！
这世道正邪总是相对于世的，当时有个杜正伦的天天看李义府的行径十分不耻。心想自己也是皇帝的亲信，也很受宠。处处就先顶李义府一下。
杜正伦担任中书侍郎，而李义府则为门下典仪，后二人一同担任中书令。杜正伦自恃前辈，对李义府非常轻视。显庆三年（658年），杜正伦与中书侍郎李友益谋除李义府，结果事情泄露，被李义府告知皇帝。二人在唐高宗面前争论，各执一词。唐高宗以“大臣不和”为由，贬李义府为普州刺史、杜正伦为横州刺史，并将李友益流放峰州。
且看下回