官职虽然没有了，但朝廷多少还能勉强支点两个人的生活开支。
忽然有一天，想起了家里的那四本书，于是就一个人背诵了起来，还不错，虽然过去了这么多年了，自己还能一字不差地背下来，但虽然能背下来，而内面的内容还有许多地方不有吃透，理解起来不得要领，也难得有这份清闲，就一边背诵，一边理解。为官之道，名利欲多，烦事越多，不为名，不为利，无所不能，无所不及。
有一天已经到了更时，吴方琪和德贤都已经睡觉了，突然有人来敲门，德贤起了床开门一看，有一人到来了小别院里，德贤刚想开口问，吴方琪从房间里走了出来，一看是大内太监总管来到了小别院，一下子就跪到在地“您老人家，这么早还要出来，不要累着了身子。”
“方琪，你好自在啊，拿着奉禄天天在这里赏花弄月，填词作赋，语声朗朗，恐怕我们大明的所有的官员唯有你一人有如此的清闲。从山西太原回来的时候瘦骨伶仃，一个多月的时间又变得白白净净了。”
“您老，没有宣旨不是不让我离开这里吗，那我只有这样天天在这小院里，自寻作乐，其他也没有什么本事，只有看看书了。”
“方琪你知道这一个多月的时间，有多少弹劾你的奏本吗，云南三司说你与大理王府、土司串通一气，破坏大明的改土归流的国策，害得他们现在寸步难行，改土归流国策在云南已经难以推行下去了。你到山西的这几个月时间，山西又来了奏本，弹劾你到了山西只办了三天的公事，总督衙门的大门始终关着，整天就知道游山玩水，严重失职。这一年多的时间来，弹劾你的奏本已经很高一叠了，正统皇帝英明，把所有的弹劾你的奏本压着不发，你要知道皇上也有难处。不能因为保你一人而凉了众大臣们的心，皇上也有身不由已的时候。”
“那皇上想要怎么处理我，要不让我辞官回家吧，再也不走科举之路了，无官无职，想到那里就去那里，这应该可以吧。”
“那有这么容易，走上了这条路，就没有这么容易了，你已经是皇上的人了。你不知道有人奏本皇上要处罚你，不仅是削职为庶民，而且要问罪，充军宁固塔。你知道勾结土司造反是什么罪吗，想得这么简单，真是太年青了。”大内太监总管面无表情地对吴方琪说。
“有这种事情吗，我取个云南山寨的姑娘就勾结土司，就造反了吗，大理段王爷也是一个堂堂正正的人，更何况我与大理段王爷也没有私底下的往来，欲加之罪，欲加之罪啊。”吴方琪竭力申辩。
“你知道官场上的事情有多少复杂吗，不过这样也好，不经历风雨，见不到彩虹。说起来也怪你太顺利了，宣德帝对你太宠爱了，一上任就是三品大员，宣德帝对你期望也太高了，云南承宣布政使司有这么好当得啊，你一上任就四面楚歌了，更何况云南的改土归流有这么好推行的吗，国策那是百年大计啊，让你去那是个火焰山啊。我这些时间在想，这样可能对你以后的官场生涯有好处，多经历一些事情，经验会更丰富一些。”大内太监总管语重心长地对吴方琪说。
“还好？这都要充军宁固塔了，今生今世不知道还能不能再回信安城家里了，托你老人家帮我求个情，在我离开北京之前，让我到祖父的坟墓上去看看他老人家，跟他告别一下，以后就没有机会了。”吴方琪想这点要求不过分，让大内太监总管带话，皇上应该会答应的。
“我说，我还以为你是个很聪明的人，怎么会这么糊涂，你难道不懂皇上的一片苦心吗，你难道不知道我对你用心良苦吗，我给你说这些话是让你知道官场上做事不能这么直来直去的，做什么事情都要知道变通着办。正统帝对你的“免去职务，留京候用”是对你的保护。按照朝廷的惯例，免职降级，留京候用，可正统帝没有对你按降级处分，你知道其中的奥秘吗。有意留下空隙，有意留下病句，在朝廷上有那个大臣敢对皇上说皇上错了吗。我还告诉你，你以为你一个削职的官员还能住这个地方吗，这里是我的私宅，刚置办下来时间不长，你是第一个在这个地方住。这一切都是念及与你祖父当后的交情啊，宣德皇帝在临终的时候对正统帝交待过，对以前“靖难之役”中有功劳的人，其后代一定要好好保护，好好关注。”太监总管说起了真话。
“我有罪，辜负了皇上的一番好意，也由衷地感谢您老的好意，祖父在天之灵会知道的。”吴方琪忽然大悟，委曲全释。
大内太监总管对吴方琪说“我知道你最担心的是什么，云南大理段王府和那个山寨的事情。经过段王爷的申辩和东厂的调查，段王府与云南土司无关，不在改土归流国策之例，你岳母那个山寨是段王府的家产，也不属于云南土司，皇上已经下旨云南承宣布政使司，云南大理段王府维持原状不变，而且云南土司暴动虽有迹象，但还未既成事实。云南各大土司们说如果按照你的那套改土归流的方案，愿意接受改土归流，只是云南的三司不愿意按照你的方案进行改土归流，因此而相持不下，至今还没有结论，如果云南三司一意孤行，有可能会引起一场争端，但这些皇上已经下旨，无论结果如何，都与你无关。做皇帝的对下面的弹劾奏章见多了，东厂的存在就是以防这种以点概全的事情发生，在以前确实发生过一些误杀忠臣的事情。”
吴方琪说“您老，请您指点一下，我现在应该怎么做才好。总不能天天都在这里养花种草，看书，晒太阳，总得要做些事情吧。”