明道二年（公元1033年），京东和江淮一带久旱无雨，紧接着又起了蝗灾。蝗灾一起，庄稼颗粒无收。如此蝗灾，朝廷应该派人前去赈灾。不知是对灾情不大了解，还是有别的什么原因，宋仁宗对此事未予重视。范仲淹说话相当不客气，他慷慨陈词：“蝗灾之下，百姓绝食断粮。倘若宫廷之中也无食物可吃，陛下该如何办理？”仁宗一听，觉得非常在理，就命范仲淹前去灾区。范仲淹回到朝廷后，还将灾民所吃的野草送到了宫中，好让皇上认识到灾情的严重性。
    这时的宰相叫吕夷简，刘太后活着时，他拼命巴结，刘太后死了，他又拼命说刘太后如何如何不好。他这种小人嘴脸，大臣们都嗤之以鼻，连仁宗的郭皇后都讨厌他，由于郭皇后的坚持，吕夷简的官职被罢免。但吕夷简担任宰相多年，与朝中的关系盘根错节，正所谓树大根深。被罢免后，他又和内侍阎文应勾结在一起，在宋仁宗面前吹风。仁宗耳朵根子软，思前想后，竟然又恢复了吕夷简的相位。恢复了官职的吕夷简一直寻机报复。正巧，郭皇后与其他后妃有矛盾，在仁宗面前竟然起了肢体冲突。郭皇后一不小心，在仁宗脸上抓了一下。本来这不是一件什么事情，但在吕夷简的煽风点火下，仁宗竟然废了郭皇后。范仲淹知道这场风波是吕夷简蓄意挑起的，他必须制止这个阴谋。范仲淹和御史台官孔道辅等一起直接到了垂拱殿，请求面见仁宗。在外面等了多时，无人出来；最后，连殿门都关上了。范仲淹等拍门高喊，也无人应答。众人愤激之余，商量了半日，准备明日早朝后，再与吕夷简这个老贼辩论。
    次日凌晨，范仲淹的妻子李氏知道范仲淹又要触犯权贵，就拉着他的衣服，哀劝他别再惹是生非。范仲淹主意已定，谁也劝不回他。妻子的眼泪只能坚定他的决心。不想，刚到待漏院，就听圣旨已下，贬他去睦州（今浙江省建德市梅城镇）做知州。他刚到家中，朝中竟然派员到他家，勒令他马上离开京城。和范仲淹一起的孔道辅等人也都程度不等地受到了处罚。迫于压力，这次为范仲淹送行的人已不太多。但是，仍有正直之士敢于说话，说范仲淹这次被贬更加令人钦佩、更加荣耀。在被贬的路途中，范仲淹以诗抒志：“重父必重母，正邦先正家。一心回主意，十口向天涯！”
    范仲淹从睦州又转任苏州知府，大概因为他是一位正直之士，朝廷也觉得有些对不住他，所以，他又在景祐二年（公元1035年）被调回了京师开封，并被任命为天章阁待制，还兼任了开封知府。和他一同倒霉的孔道辅等人也都回到了开封。范仲淹在京城大展才干，把京师治理得秩序井然。范仲淹被史官称为“政事之能者”。当时在京师开封，老百姓都说：“朝廷无忧有范君，京师无事有希文。”
    宰相吕夷简仍然在朝中结党营私、提拔亲信，整个朝廷被他弄得乌烟瘴气。别人不敢得罪吕夷简，范仲淹却不惧他的淫威。范仲淹绘了一张“百官图”，详细展示了这些官员与宰相吕夷简的关系，并将此图在景祐三年（公元1036年）呈送给宋仁宗。此图生动地反映出了宰相任人唯亲的嘴脸。吕夷简当然不会坐视不管，极力为自己的行为进行辩解。范仲淹奋力反击，接连上了四道奏章，指斥吕夷简败坏朝政。吕夷简也针锋相对，诬蔑范仲淹私结朋党，挑拨君相之间的矛盾。 吕夷简深得宋仁宗信任，最终的结果是范仲淹又一次遭贬。
    宋仁宗已年近三十岁，却没有一个儿子。这成了宋仁宗的一块心病。范仲淹对此事也很着急，曾经私下建议过，让仁宗在宗室中领养一个义子。这种议论虽然出于好意，却让宋仁宗很不高兴。要知道，宋仁宗是满怀希望让自己的儿子接班的，自己也有充分的信心生出儿子来。他最讨厌的就是别人劝他过继别人的儿子。这样一来，不仅使他希望破灭，而且暗示他根本生不出儿子。吕夷简是个聪明人，知道范仲淹的软肋在哪儿，就把范仲淹所说的关于皇位继承人的话，添油加醋地向皇上说了一遍。这样范仲淹就倒了霉，不但待制职衔被剥夺，而且被贬到饶州做知州，后来又被贬到蛮荒之地岭南。 台官韩渎为巴结宰相吕夷简，将和范仲淹有相同见解的人列为朋党，并且写在纸上，在朝堂上张挂。余靖、尹洙、欧阳修等人因为替范仲淹说过话，也都统统被流放。
    这次范仲淹被流放，到城门外相送的亲人已经不多了。在这种情况下，仍然有敢于说话的人。一个叫王质的人，带病前来，大声赞扬“范君此行，尤为光耀”，屡屡遭贬的范仲淹听后哈哈大笑：“我已经荣耀三次了，如果再有下次，请准备祭品吧。”