当初中书令石显受汉元帝宠幸，在朝中专权，作恶弄奸，丞相匡衡、御史大夫张谭都阿附石显以求自保，不敢说话。等到元帝驾崩，成帝即位，石显被调任中太仆，不再掌权。匡衡、张谭两人见石显失势，这才上书揭发石显此前的罪恶，请求罢免石显等人。对于这样的“墙头草”，王尊看不惯，他上书弹劾二人：

　　“丞相匡衡、御史大夫张谭身居三公高位，掌管五常九德，职责是总揽国家大政、统一纲纪法度、推广教化，整顿风俗。他们明知石显专权，作威作福、骄纵无忌，是天下祸患，却不及时上报惩处，反而阿谀奉承、曲意逢迎，勾结臣下、蒙蔽君主，心怀奸邪、贻误国家，完全没有大臣辅佐朝政的本分，属于大逆不道，罪行都是在大赦令之前。大赦之后，石显失势后，两人才站出来揭发石显，却不先检讨自己当初的不忠，反而宣扬先帝任用奸佞祸乱之臣，荒谬地说百官畏惧石显超过畏惧君主。这是诬蔑先帝，为自己开脱，有失大臣体统。另外，正月天子巡幸曲台，亲临慰劳卫士，匡衡与大鸿胪赏等高官坐在殿门下，匡衡南向而坐，赏等西向而坐，匡衡特意为赏改为东向而坐的尊位，起身邀请对方入座，私下交谈了一顿饭的时间。天子亲临盛典，百官应各司其职，匡衡却摆放不合礼制的坐席，让下位人居上位，在朝堂宫门私下结好施恩，举止不合礼仪，扰乱朝廷尊卑等级秩序。匡衡还派家奴去打探天子行程时间，等到天子驾临，匡衡依旧安然端坐，神色不改，毫无敬畏恭谨之心，骄纵轻慢、不守礼法，是大不敬之罪。”

　　王尊的弹劾理直气壮，但过于苛刻。匡衡、张谭在石显当权时的阿附是事实，作为三公，不能匡正君主，铲除奸邪，事后却出来痛打落水狗，确实有“墙头草”之嫌。王尊指责他们不先检讨自己的不忠，切中要害。但当时石显得宠于元帝，匡衡作为丞相，若硬碰硬很可能被贬甚至杀头，也未必能改变局面。王尊不承认政治现实中存在的不得不忍的灰色地带，显得不近人情。而且将匡衡对座位方向的安排，派家奴打探天子行程，指控为大不敬，更像是吹毛求疵。

　　所以成帝下诏不再追究，但匡衡自己心虚，他羞愧恐惧，摘下官帽请罪，上交丞相、侯爵印信。当时成帝刚即位，正要安抚大臣、稳定局面，匡衡是他留用的前朝重臣，又是当时的儒臣领袖，门生遍朝野，于是让御史丞核查案情。御史丞反过来弹劾王尊：“肆意诋毁污蔑大赦之前的旧事，随意弹劾朝中重臣，不依照律法条文，刻意夸大细小过失，污蔑丞相，羞辱公卿，轻视朝廷威严，奉命巡查却态度不敬。”成帝下诏，将王尊贬为高陵县令。几个月后，王尊因病被免官。

　　王尊这一次免官暴露了他政治判断的严重失误。虽然王尊的弹劾是对的，他指出的问题：大臣阿附权奸、事后甩锅，礼仪失当都是真实存在的。但政治不是法庭，不是有理就能赢，他不懂得适度的宽容和策略性的等待，他的弹劾更像一次道德审判，而非政治行动；王尊把“直臣”做到极致，也把“孤臣”做到极致。在石显当权时，他不在中央，没有阿附之罪，因而站在道德高地上。但当他用这块高地轰击整个既得利益集团时，所有人都感到了威胁，不仅是匡衡，还有那些同样曾与石显周旋过的大臣们。因此，王尊成了整个官僚体系的公敌。

　　元帝朝阿附石显的大臣，在成帝朝依然高居三公；弹劾他们的王尊却被贬为县令。这揭示了一个残酷事实：在官场中，曾做错事但及时转向往往比始终坚持原则更安全，王尊的遭遇是理想主义在现实政治中的一次溃败。但王尊的性格从来是宁折不弯的，他的弹劾奏书是一封刻在竹简上的道德檄文，他赢了道义，输了官位；守住了内心的刚直，却验证了政治的不圆融。他的失败令人叹息，但正因这种“知其不可而为之”的孤勇，后世才将他与那些圆滑保位的“匡衡们”区别开来，他也因此总能在被罢后又重新起用，成为无可替代的实干型官员。