说自己最近得了一种昏愦之病，若不罢职，肯定会耽误国事
李纲在奏章中还特别提及赵桓的榻前之语
当初，李纲本不想当河东宣抚使领兵去救援太原，因为他觉得自己不知兵，胜任不了这个职务
可赵桓非让李纲当，非让李纲去，而当时从主战派倒向主和派的吴敏也想将主战的李纲踢出朝廷
所以，李纲在不情愿之下，接受了河东宣抚使之职
不过临离京之前，李纲和赵桓有个约定
赵桓为让李纲出任河东宣抚使，领兵前去解围太原，曾将李纲招至榻前，向李纲承诺：“卿替朕巡视完边防，就可回朝”
李纲则请求说：“万一朝廷决议不坚定，则臣应请求去职，陛下应明察臣之忠心，以保持君臣之情义”
现在，朝廷对金国外交方针已由抗战又转变为议和
当初李纲所担心的“决议不坚定”之情况，已经出现
赵桓理亏，只好答应李纲的请求，命种师道以同知枢密院事身份巡边，前去怀阳，与李纲交割宣抚司职事，同时，命李纲回京赴阙，并让他沿黄河岸边巡视防守之准备情况
李纲接到诏令后便离开怀阳，启程回京
可李纲刚走到封邱（后世河南封丘），忽然得到尚书省劄子，说皇上有旨，任命他为观文殿学士、知扬州，令他不必回京，可直接前往扬州赴任
赵桓突然改变主意不让李纲回京，是有原因的
因为目前的大宋已经乱成一团，而且政令、指责混乱，以至于，太原城都丢了一个来月，赵桓才知道消息
赵桓认为，这是李纲救援不利造成的，而且李纲还不及时上报
墙倒众人推，加上李纲一系又都倒台，再加上屡战失利，战已经不太现实了，所以，开始有人弹劾主战的李纲
中书舍人刘珏说李纲，轻脱寡谋，强执自任，前后败师覆将非一，数有败衄，以致士气益沮丧，金人益嚣张，且耗财疲民，难道可不加黜责以示惩戒乎？
如果说刘珏说得还有那么一点点道理，那么另一个大臣所奏，则显然是歪曲事实另有图谋
那个大臣在奏疏中历数李纲十大罪状，直接掀起了一场揭批李纲的浪潮
简单一点说，那人指责李纲，无才，是蔡门党羽，贪功让姚平仲出战，鼓动太学生上书逼宫，担任守御使时滥赏，包庇蔡攸，为蔡京抱打不平，排斥同僚，以蜡书付金使妄结耶律余睹，抗命不去担任宣抚使，救援太原不利
那人所说的事，不少都是赵桓所主张的，有些甚至跟李纲一点关系都没有，结果全都扣到李纲头上
赵桓对此其实很清楚，可他还是下旨免去李纲知扬州一职，令其前往杭州，以观文殿学士身份提举杭州洞霄宫
可宋国的那些大臣们还不满意，继续揭批李纲
实话实说，对李纲的这些指责，不少其实还是有点事实根据