戴长乐告发杨恽的第一件事是：高昌侯董忠驾车闯入北掖门，杨恽对富平侯张延寿说：“听说以前也有车辆在宫中狂奔撞到殿门上，门栓都被撞断了，马也撞死了，接着汉昭帝就驾崩了，现在又出现这样的事情，这是天意，人力难以控制。”

　　第二件事：左冯翊韩延寿有罪下狱，杨恽上书为他鸣冤。郎中丘常问杨恽：“听说你上书为韩冯翊鸣冤，能把他救下来吗？”杨恽说：“哪有那么容易！正直的人都难以保全自身。我尚且不能自保，如人们常讲的，老鼠不能把大于鼠洞的草圈衔进鼠洞。”

　　第三件事：中书谒者令宣把单于使者讲的话译成文字，拿给将军及朝中二千石官员看，杨恽嘲笑说：“以前冒顿单于得到皇帝赏赐的美味佳肴，却说是腐臭难闻的东西。单于不来朝见皇帝，这不是明摆着的事情吗？”

　　第四件事：杨恽曾经登上宫廷西阁观看壁画上的人物，指着夏桀、商纣的画像对乐昌侯王武说：“天子要多看看桀、纣这两个暴君的罪过，从中学习教训。”壁画上还有尧、舜、禹、商汤的画像，杨恽不举这些圣王的例子，却偏偏指认桀、纣这样的无道之君。

　　第五件事：杨恽听投降的匈奴人说，单于被杀，杨恽说：“这样的无道之君，大臣们为他做的谋划不用，最终只能自取灭亡。就像秦朝，任用奸佞小人，诛杀忠臣良将，最终招致灭亡。当初秦王如果能亲近贤明的大臣，恐怕能延续到现在。古代和现代的暴君，都是一丘之貉。”杨恽妄自引用亡国之君的事例，诽谤当朝皇帝，没有做人臣的礼节。

　　第六件事：杨恽曾经对戴长乐说：“正月以来，天气阴沉却不下雨，这种感应《春秋》有记载。夏侯胜规劝昌邑王时说‘天子恐怕不能再到黄河以东去祭祀后土祠庙了。’这无疑是对皇帝的大不敬。拿皇上的事情开玩笑，违背了人臣伦理。

　　凭心而论，戴长乐告发的这些事还真不是捕风捉影，杨恽讲话实在是没遮没拦，不过脑子。但离开具体的语言环境，并经过戴长乐的断章取义、添油加醋之后，具体有多少可信的成分不好说。由此可见，搞政治，慎言是多么重要。所以古人做官讲究“万言万当，不如一默”，沉默是金。可是杨恽是一个不说话会死的主，喜欢逞口舌之快，并且说的好多都是“犯忌”的话，他说过就算了，别人可都给他记着呢。这不杨恽对宣帝又是诅咒，又是含沙射影，说他和暴君是一丘之貉…换成暴戾一点的皇帝，杨恽早该死无数次了，宣帝把此案交给廷尉处理。

　　廷尉于定国审问杨恽，还有证人证明。但杨恽就是不认罪，还私下叫一个名叫尊的户将，让他去串通富平侯张延寿，杨恽说：“太仆戴长乐还有好几件事是死罪，早晚要被判死刑。我和富平侯是亲家，戴长乐告发的事是我们三人闲聊时说的，只要富平侯不承认，那戴长乐告发的事就不相符合。”尊表示不能做这种事，杨恽大怒，竟然拿着大刀威胁尊说：“如果富平侯为戴长乐作证，证实我有罪，那么我就要被灭族！你不能泄露我的话，让戴长乐知道了，又要加重我的罪。”廷尉上奏说：“杨恽位列九卿，担任诸吏光禄勋，是皇上的宿卫近臣，受到皇上信任，参与朝廷政事，却不能尽心竭力效忠皇上，谨守做臣子的责任，心生邪念，散布妖言恶语，大逆不道，请求将杨恽逮捕治罪。”宣帝不忍心处死杨恽，对于这次戴长乐、杨恽互撕事件，宣帝各打五十大板，将杨恽、戴长乐都贬为庶人。

　　削职为民后的杨恽，在官场上混不下去了，干脆在家经营产业，修建住宅，以赚钱谋利自娱自乐，行事依然十分高调。过了一年，杨恽的朋友，安定太守孙会宗看不下去，孙会宗有智慧且谋略过人，他写信劝告杨恽说：“大臣遭到贬谪，应该闭门思过，表现出诚惶诚恐的样子，不应该再大张旗鼓置办产业，结交宾客，夸耀过去的成就。”

　　杨恽经历了这场政治风波，对朝廷的刻薄寡恩深有感触，对仕途感到厌倦。他认为自己身为丞相的儿子，很早就在朝中显露头角，就因为一件说不清的事情被贬黜，很不服气。他对孙会宗的劝诫不以为然，愤怒地写了回信，这就是有名的《报孙会宗书》。在这封信中，他充满了对皇帝的怨恨，对孙会宗的挖苦，还为自己狂放不羁的行为辩解。整封信写得锋芒毕露，与他外公司马迁《报任安书》桀骜不驯的风格如出一辙。但这封信也成了他悲剧命运的导火线，使他成为文字狱的第一受害者。