此时的西厂也已经嚣张到了顶点，比如杨晔的叔父杨仕伟，时任兵部主事（正处级），西厂没有办理任何法律手续，逮捕证也没一张，就跑到他家里去抓人，半夜三更，搞得鸡飞狗跳，住在旁边的翰林侍讲陈音听见动静，十分恼火，拿出官老爷的派头，隔着墙大喝一声：
“你们这样胡作非为，不怕王法吗？！”
可对面的西厂特务倒颇有点幽默感，也隔墙答了一句：
“你又是什么人，不怕西厂吗？！”
事情闹大了，汪直却满不在乎，毕竟杨晔本人也不是什么了不得的人物，可后来事情的发展彻底打破了他的幻想。
他没有想到，虽然杨荣已经死去多年，但威信很高，是文官集团的楷模，他的子孙出了事，大臣们怎肯甘休！
第一个做出反应的是内阁首辅商辂，他派人查明了杨晔的冤情，召集内阁开会，痛斥汪直的罪行，并写了一封奏折给朱见深，要求废除西厂，罢免汪直，其中有一句非常厉害的话：
“不驱逐汪直，天下迟早大乱！”
朱见深发怒了，他虽然脾气温和，看到这句话也气得不行，大叫道：
“用一个太监，也会天下大乱吗？！”
他十分激动，立刻叫来身边的人，传达了他的口谕：
“让商辂明白回话，到底是谁指使他的！主谋是谁！”
朱见深很少发火，但发起火来绝不善罢甘休，按照常理，商辂要吃大苦头了。
但他这次的运气实在不错，因为奉命传旨的人，是司礼太监怀恩。
怀恩，山东人，本姓戴，宣德年间，因父亲涉罪抄家，他被逼入宫成为宦官，改名怀恩，历经三朝，最终成为了手握重权的司礼太监。
这是一个十分关键的人物，正是他多次挽救了时局，并在最后时刻力挽狂澜，将朱祐樘送上了皇位。
怀恩奉旨出发了，他刚刚领教了朱见深的怒火，却没有想到，在内阁等待着他的，是另一个更为愤怒的人。
怀恩来到内阁，刚好商辂、刘吉、万安等人都在，他便二话不说，传达了朱见深的口谕：
“奏折是谁写的，何人指使？！”
这是两句十分严厉的问话，说明皇帝生气了，后果很严重，可商辂却出乎所有人的意料，他不但没有丝毫畏惧，反而拍案而起，大声说道：
“奏折是我写的，也是我主使的，那又如何！你就这样回复皇上好了！”
“汪直不过是个太监，竟然敢私自关押处死朝廷官员，擅自调动边关将领和内宫人员，让他这样放肆下去，天下必定大乱！不除汪直，王法何在！”
商辂这一激动，内阁的全体成员也跟着激动起来，你一言我一语大有闹事的苗头。
关键时刻，怀恩保持了镇定，他安抚了商辂等人，即刻紧急回复朱见深，转述了商辂的回复，希望朱见深认真考虑。
听完了怀恩的汇报，朱见深感到了一丝恐惧，他意识到，商辂是对的，汪直已经成为了一个有威胁的人，必须采取行动了。
不久之后，朱见深下谕，罢免了西厂，将汪直逐回御马监。
对于内阁来说，这是一次了不起的胜利，商辂等人弹冠相庆，高兴万分。
但与此同时，御马监太监汪直却并不沮丧，因为他十分清楚，软弱的朱见深不会坚持多久，他仍然需要自己，不久之后，他就能回到原来的位置。
【汪直的疏忽】
汪直是对的。
对于朱见深而言，正确还是错误、忠臣或是奸臣，都并不是那么重要，童年时候的经历给朱见深打下了深刻的烙印——过得舒舒服服就好。
所以他需要的并不是在背上刻字的武将，也不是在朝廷上骂人的文官，他只喜欢一种人——听话的人。
汪直是一个听话的人，不但老老实实地伺候朱见深，还能够提供各种娱乐服务，这样的人上级自然不会让他闲太久。
于是不久之后，西厂重新开张，汪直也成为了新任厂长。
汪直又一次达到了他太监生涯的顶峰。
然而不久之后，他就犯了一个错误，一个他的先辈曾经犯过的错误。
和王振一样，汪直也有着一个横刀立马的梦想。
既然是个太监，就应该踏踏实实地干好这份有前途的工作，可汪直先生偏偏要出风头，但问题是当时边界比较平静，为了达到自己的目的，汪直贯彻了新的边防方针：人不犯我，我也犯人。
事实证明，汪直确实是一个不折不扣的孬种，他所谓的进攻不过是杀掉人家进贡使者，或是趁人家大人不在家的时候去骚扰一下老少妇孺。等人家来报复了，他又成了和平主义者，一溜烟地就逃了，可经过他这么三下两下胡搞，鞑靼和辽东各部落真的被惹火了，不断地到明朝边界找麻烦。
朱见深纳闷了，原本平安无事的边境突然四处传来战报，他没有相信汪直的鬼话，而是自己派人出去打听，这才发现原来所有的事情都是汪直惹出来的，这下他火大了。
朱见深同志要求不高，只想老婆孩子热炕头，过两天安逸日子，没事研究一下金丹春药之类的化学制造，可是汪直偏偏不让他消停，他开始对汪直不满了。
这种情绪很快被两个人察觉到了，他们决定利用这个机会把汪直彻底打垮。这两个人一个是李孜省，另一个是尚铭。
他们两个人决定抛弃以往的成见，精诚合作，尚铭寻找汪直的罪证，而李孜省则串通万安上书告状，双方各司其职，准备着最后的攻击。
成化十七年（1481），机会来了。
这一年，鞑靼部落开始进攻边境，朱见深接到消息十分不满，立刻找汪直进见，直截了当地对他说：
“你自己惹出的麻烦，自己去解决！”
汪直大气也不敢喘就连夜去了宣府，可当他到达那里的时候，人家已经抢完东西走了。汪直便急忙向皇帝打报告，说这边已经完事了，我准备回去。
朱见深同志回复：
那里非常需要你，多待几天吧。
尚铭和李孜省敏锐地感觉到，汪直快要完了，他们立刻按照计划发动了最后攻势。一时之间，弹劾满天飞，原本的优秀太监、先进模范突然变成了卑鄙小人、后进典型。朱见深立刻下令，关闭西厂，将汪直贬为南京御马监。
出来时还风光无限的汪直灰溜溜地去了南京，沿途风餐露宿，以往笑脸相迎的地方官们此时早已不见了踪影，汪直已经没有别的野心，只希望能够安心到南京做个太监。
可是我国向来都有痛打落水狗的习惯，尚铭还嫌他不够惨，又告了一状，这下子汪直的南京御马监也做不成了，只能当一个小小的奉御，他又操起了当年刚进宫时候打扫卫生的工具，在上级太监的欺压下，干起了杂务。
成化初年进京成为奉御，成化十九年又被免为奉御，十余年从默默无闻到权倾天下再到打回原形，一切如同梦幻一般。
明史没有记载汪直这位风云人物的死亡年份，这充分说明，此人已经不值一提。