宋高宗虽然封李纲为相，但并不是真心想让他抗击金兵。宋高宗偏向于投降派。投降派不断在宋高宗面前诬告李纲，宋高宗开始对李纲产生怀疑，并有意疏远他。
    建炎元年八月，李纲被宋高宗罢免了宰相之职。不久，李纲所进行的改革、备战措施也随之废除。太学生陈东、欧阳澈上书请愿，要求恢复李纲的职务，宋高宗不但不听，还下令将两位太学生斩首。
    李纲罢相两个月后，形势急剧恶化，金兵大举南下，宋高宗乘船逃住扬州。金人闻讯追击，宋高宗只好东躲西藏。后来，金人在岳飞、韩世忠等部队的顽强抵抗之下，被迫从南方撤军。金人撤军前，为了加强对黄河以南地区的统治，立刘豫为傀儡皇帝，定大齐为国号。
    李纲罢相后不断受到陷害，接二连三地被贬、被逐，最后被贬至万安。李纲见宋朝统治阶级腐败、百姓生活苦不堪言，深感悲愤。
    绍兴二年，金兵从南方撤军以后，宋高宗返回临安，任李纲为湖广宣抚使兼知潭州。李纲接到任命以后，积极准备抗金，收复宋朝的失地。他组织地方武装抗金，采取了恢复在战争中受损的经济、减轻百姓的苛捐杂税等措施。当刘豫伪政权准备与金兵共同南下伐宋时，李纲向宋高宗提出趁机收复失地的建议，宋高宗不但未采纳李纲的建议，反而对他再一次进行罢免。由于宋高宗从骨子里惧怕金人，因此李纲根本不会得到朝廷的重用，有所作为。宋朝统治阶级内部对待是战是和的问题争论不休，宋高宗最后同意了投降派的意见。南宋于绍兴九年与金议和，向金称臣。李纲虽然憎恨这种屈辱，却无能为力。
    绍兴十年正月十五，李纲含恨病逝于仓前山椤严精舍寓所，终年58岁，赠少师，葬于福州怀安桐口大家山。直到淳熙十六年，孝宗皇帝特赠李纲陇西郡开国公，谥号忠定。
    一片冰心在玉壶，不辞羸病卧残阳。李纲的一生是孤苦的一生，也是悲壮的一生。他一生辅弼宋徽宗、宋钦宗、宋高宗三位皇帝，孤忠擎国，挽狂澜于既倒，可歌可泣。为济民救国，他不惜肝脑涂地，耿耿忠心却屡遭罢黜，昭昭曲心又知音难觅。孤苦中，他期盼失望再期盼再失望，沉浮波澜，几番苍凉，蹉跎岁月。最终，他走完了悲壮的一生。李纲的悲剧既是时代的悲剧，更是性格的悲剧。后人这样评价李纲：朱熹：“纲知有君父而不知有身，知天下之安危而不知身之有痼疾，虽以谗间窜斥濒九死，而爱国忧君之志终不可夺者，可谓一世伟人矣！”文天祥：“其道则隆，其运则剥。噫，胡出处之不常，为苍天频卜。”
    李纲一生中写出了很多著述，后来其诸子将他的遗文编成《梁溪全集》，总共180卷，并且刊行于世。其中有些是北宋末和南宋初，李纲凭借自己在朝廷的亲身经历和所见所闻记录下来的，比如《靖康传信录》《建炎时政记》《建炎进退志》，成为史学家研究这段历史的珍贵资料。