据《明史》记载，孙丕扬谁都不怕，惟独怕太监。千千万万的文官都不敢找孙丕扬走后门，但是宦官敢。宦官没完没了地托他给亲信安排肥缺，孙丕扬安排又不是，拒绝又不敢，于是就发明了抽签的办法，让那些宦官不要再来走后门。孙丕扬用心良苦。
宦官在名义当然没有孙丕扬的官大。孙丕扬是正二品的高官，而宦官的头子，也就是担任太监的宦官，不过是个四品官，与孙丕扬差着四档。而且宦官是不许干预政事的。开国皇帝朱元璋规定，宦官干预政事者斩。同样，明朝也是没有宰相的，开国初期的三个官居一品的宰相似乎都不可靠，朱元璋杀掉他们，然后就废除了宰相制度，并且在《皇明祖训》中写下一句严厉之极的话：
后代有敢建议立宰相者，灭九族。如此说来，孙丕扬只需直接向皇上负责，除了皇帝本人之外不必再怕什么人。但是实际情形不然。
朱元璋废除宰相，就等于迫使他的子孙后代亲自出面管理国家。必须由所有者亲自出面管理一个大企业的制度，尚且不能叫好制度，更何况管理一个大国。这是个体户的思路。这个思路容不下专业分工的出现，不承认臣民之中有更善于管理而且乐于管理的专家人才。
这种制度禁止外人插手代理，它自己所提供的皇帝又如何呢？显然，生长在深宫内院的皇太子，对民间实际情况的了解必定是肤浅的，中国的儒家教育又是春秋笔法的隐恶扬善教育，告诉学生的都是理想的模式是什么样子，为什么说这是理想的，等等。教的那一套与实际情形相去甚远。也就是说，一个满脑子教条和理想的书生，就是这种制度所能提供的最好的领导者。这不过是一个有德无能的最高管理者，而更大的可能是碰上一个无德又无能的管理者，一个既缺乏理想又没有头脑的败家子。这两种皇上都缺乏管理国家的能力，很需要一些助手协助他处理六部首脑提出的复杂问题。
在实际情形中，皇上批阅的章奏，譬如孙丕扬的什么奏疏，首先要由内阁大学士——皇上的秘书——看一遍，替皇上草拟一个处理意见，用小纸条贴在奏疏的前面，这叫拟票。现在的官场用语譬如“拟同意”之类，大概就是从这里来的。票拟过的章奏呈到皇上手里，皇上便参考大学士的意见口授旨意，秉笔太监持红笔记录，这叫批红。无论名义上如何规定，呈送章奏的人，总不如阅读章奏并提出处理建议的人权力大；提建议的拟票人，总不如拿着红笔写批示的人权力大——特别是在皇上又懒又好糊弄的条件下。譬如正德皇帝贪玩，太监刘谨便把章奏拿回家与亲戚和哥们商量着批，首辅李东阳也难以辨别真假。于是，就在这个并不违背常识和情理的过程中，行政权力的重心悄然转移。
《明史·职官志》总结明朝的行政权归属，说：洪武十三年废除宰相制度之后，天下事就由各部尚书负责处理。大学士当顾问，皇帝自己做决定。这时候的大学士很少能参与决策。到了第五代的宣德年间，大学士因为有太子的老师的资格，威望隆盛，地位和作用已经在六部尚书的地位之上了，内阁权力也从此超过了六部。到了第十二代的嘉靖中期，夏言、严嵩用事，其地位已经赫然为真宰相。不过，内阁的拟票权，不得不决于内监的批红权，于是，宰相权实际就到了宦官手里。
不知不觉中，朝廷决策、官员进退，都把持在宦官之手了。不许干政云云，早就成了一纸空文。
何良俊在《四友斋丛说》卷八讲了一个宦官对这种权势变化的亲身体会。嘉靖年间的一位宦官说：“我辈在顺门上久，见时事几复矣。昔日张先生（引者注：内阁大学士中的首辅张璁）进朝，我们多要打个躬。后至夏先生（首辅夏言），我们只平着眼看望。今严先生（首辅严嵩）与我们拱拱手，方始进去。
这套体现在鞠躬拱手上的礼节变迁，实际上标出了明朝行政权力的变迁。名义上权力在皇帝手里，但是皇帝不能干、不肯干，这时候，在没有合法的代理制度如宰相制度的条件下，行政大权就悄悄落在皇帝的私人顾问和随从手里了。这是潜在的规矩，却是真正管用的规矩，不懂这个规矩的人将在官场上碰得头破血流。究竟是公开代理的宰相制度好，还是明朝的悄悄代理好呢？公开代理好歹还有个公开推选宰相的过程，悄悄代理则全凭个人的私下手段，譬如刘谨那种引导皇上玩鹰玩狗讨皇上欢心的手段。
话扯远了。简单地说，就是明朝必定出现一个灰色的权势集团，一个在典章制度中找不到的权势集团。这个集团有能力让正式制度的维护者给他们让路。孙丕扬不愿意让路，又不敢得罪宦官，不能不让路。双方较量的结果，就是孙丕扬带头放弃自己手里的安排干部的权力，放弃肥缺的分配权，同时也就取消了灰色权势集团的肥缺索取权，任何人都不能凭自己的标准安排干部，一切由竹签和当事人的手气决定。这个抽签制度建立后，吏部的后门果然堵住不少，当时的人们便盛赞孙丕扬公正无私。在这种盛赞中，我们也可以感觉到人事安排或者叫肥缺分配方面徇私舞弊的严重程度。
