杜林见隗嚣如此反复无常，每每有良言入耳，便能好上几日，可随后就又生自立之心，知道他终有一日会据汉自立，于是产生了离开的心。
杜林多次向隗嚣辞行，都被隗嚣拒绝，并将他软禁了起来。
众人听说隗嚣把大贤杜林囚禁了后，一时间议论纷纷。
隗嚣对众人说：“杜林这个人孤傲的很，天子也不能驾驭他，诸侯也不能做他的朋友，他大概就是伯夷、叔齐这样的人，宁愿饿死也不吃周朝的一粒粮食。我对他亦师亦友，可他偏偏要离去，我也并非囚禁他，我只不过是爱惜他的才华，不忍他弃我而去，我每日好酒好肉的招待他，不曾有过半点怠慢。”
众人听隗嚣如此说，也就不再所有议论。
可过了没几天，杜林的弟弟杜成暴病身亡，杜林再次向隗嚣请辞，说要把弟弟带回祖籍茂陵安葬（今陕西省咸阳市境内）。
生老病死，人生头等大事，这下隗嚣再也没有理由强留杜林，只得放他离去。
杜林走后，隗嚣颓坐在院中的墙边，心中生起悲凉之意。
原先他门下可谓贤者毕至，可自从他升起自立的念头后，这些大才却是一个个离他远去。先是马援，再是班彪，又是郑兴，如今就连杜林也走了，今后还不知道要走几人。
隗嚣越想越气，决心杀掉杜林。
可他毕竟是以君子的形象示人，这种事必然不能明火执仗，于是便暗中请刺客杨贤追杀杜林。
杨贤追上杜林时，杜林正独自一人推着灵柩赶路，他早就听说过杜林的贤名，几次想将剑拔出，拔了一半，却又插了回去。
杨贤心说：“父母给我起名叫贤，是为了让我做个贤者。可如今乱世，我不得已做这种为财杀人的勾当，可君子爱财，取之有道。若是杀个寻常之人，那杀了便杀了，可这杜林是出了名的贤德之人，我又怎忍杀之。”
于是杨贤走到杜林身后，就这样不远不近的跟着。
杜林发觉到身后一直跟着一个人，也不超过自己，也不远离，心中生疑，于是问道：“先生可是来刺杀于我？”
虽然放弃了行刺的念头，可作为刺客，杨贤亦有刺客的操守，宁死也不能出卖雇主，于是杨贤也不说话，杜林停他便停，杜林走他便走。
杜林一连问了几次，杨贤都默不作声，杜林心想，自己一介书生，若是他想杀我，那我也没有反抗的机会，不如就随他去吧，是死是活，全凭天意。
五日后，杜林出了陇西（今甘肃省东南部地区），杨贤也始终未能下杀手，若是没有机会行刺还则罢了，可有机会却不动手，况且自己也收了钱，那自然是违背了道义，于是拔出佩剑自刎。
此时的杜林终于想明白了，这杨贤必是隗嚣请来行刺他的，而杨贤始终没有动手，直至自己出了陇西方才自杀，由此可看出，这杨贤也是一位义士。
由于不知道杨贤是何人，身上也没找到证明身份的物件，杜林也只好把杨贤的尸首抬上了推车，一起推回老家安葬。
隗嚣一连等了数日，也没有见到杨贤返回，心想这杨贤为游侠，杀一个手无缚鸡之力的杜林自然是万无一失，可这么久都没回来，一打听方知，杜林已经回到了茂陵，而杨贤不知所踪。
隗嚣知道，一定是杨贤不忍杀杜林，才放跑了他。
想到此处，隗嚣心中又开始了焦虑，是不是真的是自己操之过急？是不是真的不是称王的时机？亦或者说自己根本就没有称王的命？
其实说到底，此事不过是他和刘秀两个人之间的事，于是隗嚣决定再派使臣至洛阳（今河南省洛阳市境内），一是看看刘秀对自己的态度。二是看看朝中文武如今是如何看待自己。三也是打探打探刘秀的虚实，征战这么多年，刘秀的百万大军是否还在？是否还能打？国力是否因为连年大战而衰弱？
可使者周游率队刚出陇西，到达关中（今陕西省中部地区），就遭到了仇家的埋伏，整个使团被杀的一人不剩。
隗嚣以为是冯异杀了使团，于是整军备战，封锁了东南西三个方向所有的关隘，从而导致了前文中提到的窦融的回信没能及时送至刘秀手中。
不但隗嚣以为是冯异杀了使团，就连朝中许多大臣们也以为是冯异杀了使团。冯异自从建武二年率军西征，至今已有四五年了，老兄弟们倒是没有怀疑过冯异的忠诚，可是四五年过去了，朝臣也比当时多了许多，之中有一大半并没有见过冯异，于是纷纷弹劾冯异。
“冯异拥兵自重，欲在关中自立。”
“关中百姓只知冯异，不知陛下。”
“关中百姓都叫冯异咸阳王。”
“冯异欲自立，恐隗嚣归顺后被东西夹击，所以杀了隗嚣使团。”
“冯异要称王，所以先把水搅浑了，给陛下多树敌。”
“冯异要自立，请陛下早做防备。”
一时间，无论是朝堂之上，亦或是市井之间，都流传着冯异要叛乱的声音。
刘秀对这些弹劾冯异的奏折不置可否。
按照惯例，皇帝对于大臣的奏折都要批示，抄录后再反给朝臣，如果皇帝同意，一般都会写个准字。如果皇帝不同意，一般都会写个不准。如果皇帝一时间拿不定主意，或者这事需要暂缓，一般则会批注知道了，方便朝臣日后再次奏报。
可那些朝臣迟迟等不到自己的奏折返回，心中不免疑惑。
这些奏折去哪了？全被刘秀密封好送进了冯异的大营。
这并不是刘秀和冯异穿一条裤子，出卖那些朝臣，而是刘秀的帝王心术。
对于冯异这种能打仗，能打胜仗，手握重兵，又远在千里之外的统帅，自当是要时不时的敲打一番。
冯异看到刘秀送来的数封奏折，心中惶恐万分，茶不思饭不想，如坐针毡。在床上辗转反侧多时难以入睡，于是半夜爬起来，给刘秀写了一封回奏。