主政河南，尤其经常在开封一带乡下巡视，于谦对开封人民的疾苦了然于心。其中，他尤其对黄河决堤的危害认识深刻。黄河在河南特别是豫中的河段，因为平坦地势，每遇洪水多有溃决。于谦在职18年之中，大的溃决就有两次，死亡百姓、损毁民房无数。于谦作为一代名臣，既有忠君报国之志，又有尊崇天意之心。由此，他苦求良策，采取了一系列措施来治理黄河，在治黄历史上留下了浓墨重彩的一笔。 
        一日，于谦到黄河视察水情，在大堤之上、柳荫树下，恍惚间碰见一鹤发老人。于谦就上前问：“老先生，这黄河多次泛滥，危害百姓，你有什么办法吗？”老者答：“开封有两害，贪官和水怪。现已除贪官，只剩下水怪。要除水怪，人神合力，厚筑堤防，请来铁犀。”言毕，老人飘然而去。于谦想，这是圣人指路啊！当时人们很是信奉五行，认为金可克水。于是，于谦决定建寺庙供奉河神，铸铁牛以镇河妖。 
        1446年春的一天，于谦回到官衙，心急如焚，召集官员商议治黄之策，命令工匠铸造大铁牛，并立即绘制图纸。在设计过程中，于谦就连铁犀的坐姿、造型甚至连犀角、眼睛都亲自参与，并撰写《镇河铁犀铭》铸在铁犀背上。 
        为了赶进度，他命人在府上垒起3座大炉，和工匠们一起熔铁灌注，夜以继日赶工期。有一次，炉火的焰苗竟烧了于谦的胡子，甚至还把皇帝亲赐的蟒袍也烧了几个大洞。之后，皇帝召见各地巡抚，于谦进京面见。皇帝见于谦蟒袍竟有几个大洞时不禁一愣，龙颜不悦，问：“为何官服不整？” 
        于谦回答：“启禀皇上，下官为铸镇河铁犀，整日忙于炉火之边，不慎将御赐蟒袍烧毁，请皇上治罪。”皇帝一听事出有因，被于谦为民谋利的行为所感动，即令再下拨银两，用于修堤坝铸铁犀。 
        大铁牛铸成那天，搬运铁犀的队伍浩浩荡荡，成千上万。四邻八乡的百姓自发而来，有的牵着自家牛，有的拿棍棒，有的拿绳索，汇成了一条长龙，蜿蜒而行。于谦兴高采烈地走在队伍的最前列。到回龙庙后，众人把铁犀安放在座基上。人们奉香叩拜，祈求“万古黄河佑安澜”。 
        据史料记载，回龙庙在城东北的黄河南岸大堤旁，三重院落，故址现在北郊乡铁牛村。镇河铁犀就安放于庙中，坐南朝北，面河而卧，虎视着波涛翻滚的黄河。如今，回龙庙已经无存，而   铁犀尚在。1962年，河南省人民政府将镇河铁犀列为第一批省级文物保护单位，并拨出专款加以修缮，以供世人观光瞻仰，现已成为黄河边上的一个旅游景点。从这里，人们看到了沿黄人民治理黄河的斗争和于谦的丰功伟绩。 
        在巡抚任上，于谦时刻关心民生疾苦，他把“修筑黄河堤防，发展农业生产”放在重要位置来抓，在河南和开封做了大量的好事。据史料记载，为遏制黄河水患，“谦令厚筑堤障，计里置亭，亭有长，责以督率修缮。”。为了加强黄河防灾，他多次下令要加固加高护黄大堤，按“里”设立一“亭”，选出得力人才为“亭长”，赋予其权力，专职负责监督修堤事项。为防止黄河决口，他多次亲临黄河视察，察看水情，制订方案，严加防范。在农闲时，他下令民众积蓄青柴、芦草、石块，运至近水险情之处，以备堵塞决口应用。这项措施，对当时治黄防患于未然、保护人民财产生命安全起到了积极作用。 
        在修筑黄河大堤的同时，于谦还依据开封西北高、东南低的总地势，决定在开封西、北、东三面筑建护城大堤，护城堤距开封城墙1.5公里至5公里不等。按现在的护城堤遗址，东护城堤南起汪屯乡横船湾、北至东郊乡刘寨转弯向西，北护城堤东起刘寨、西至西郊乡辛堤头村转弯向南，西护城堤北起辛堤头向南至城西南方刘寺一带转弯再向东。护城堤总长约40公里，当时耗费物力、人力是相当大的。 
        于谦广泛发动官兵和民工参战。他吃住在工地，歇息于帐篷内，时刻掌握工期、质量情况。他还亲自督促运土方、装沙袋、垫秸秆，层层把关，如发现有偷工减料，立即返工。大堤修成后，于谦令在堤上植树木、荆棘、草丛，使大堤更加稳固。数月里，百姓只见于谦骑着一匹黑色的瘦马、带几个随从，往返于开封的西、北、东三面环城的修筑护城大堤的工地上。 
        为了更好地防护河堤，同时使堤防获益于民，于谦令在堤上修建护堤房屋数十处，供护堤人员居住，遮蔽风雨。在两三里之间打井一眼，并在堤内外开挖壕堑，内外泄洪。这样一来，还可为人们提供充足的水源。在于谦谢世百年之后，明代作家孙高亮在其著述中多有记载：“当年堤防旁的榆树、柳树，粗有合围，树冠蔽日，井畔亭子，古迹犹存。” 
        与此同时，在治理黄河的过程中，于谦看到黄河岸边，黄沙滚滚，道路漫漫，往来商旅竟无消歇之处，时常有行人中暑而死亡，很是痛怜。为了解决这个问题，于谦令在千里黄河大堤上和堤旁的村落里， “种树凿井，榆柳夹道，道无渴者”。这为当时百姓所纷纷称赞、津津乐道。今开封城北柳园口乡黄河滩区柳园村的形成，据说同于谦治理黄河过程中留下的柳树有着深厚的不解之缘。相传，自明代中叶以来，黄河道固定，茫茫的黄河滩区柳林如海、莽莽苍苍，一望无际。滩区百姓每逢荒岁淡月，或到柳林中折条编筐握篓，或到滩涂边捕鱼捞虾，以资生活的不足。久而久之，此处便聚集为村落，因此得此村名。 
        于谦不仅在治吏、治黄上声名卓著，还着力办好了3件事——兴医、办学、除恶。

        兴医。据明代作家孙高亮小说《于少保萃忠全传》记载：于谦在任上“仍令各处设医药局，以疗疫疾”。在当时，凡是大荒之年，必有疾病、疫情发生，加之饥民遍地，他因此设医药局，救民于水火。他命令属下官员对此项工作不得懈怠，否则要追究其责任。 
        办学。于谦命令下属官员大力办学，其宗旨在于“设社子于里邑之中”，命教师着重教育那些“孤寒子弟”，当时教师每月的薪金为“一石米，银一两”。老师则教育学生要做到打扫卫生、勤勉求进，要学会懂得礼貌、学会“出恭入敬之礼”，并告诉学生，这是一生必须遵守的道德规范。数年来，这种学校培育的学生基本没有“违法犯科”者。 
        除恶。于谦在任山西、河南巡抚期间，把当地社会治安整治得井井有条，建立了一整套惩治、防范体系，有一个故事颇能证明。因为于谦常往返于太原、开封之间，或牵马坐辇，或行船黄河水中。于谦在治安方面的威望，使两省父老皆赞之，就连盗贼之徒也很怕他。一次，他巡视于太行山区，山里的盗贼一听于谦到来，吓得纷纷逃跑或藏匿了。 
        四  于谦在河南、山西巡抚任上，同父母、妻儿总是离多聚少。1430年，任职当年，他即遣18岁长子于冕归杭州故里，代行侍奉父母之责。1435年，次子生，不久即夭殇。1445年，他的夫人董氏携4岁幼子于广自杭迁京居住，家人分居三地。当年，董氏病逝。于谦终生不再娶、不纳妾。1447年至1448年，于谦的父母相继亡故，英宗因其职责重要、边事紧张，不允“守制”，事毕即返京。 
        1448年，于谦应召回京任兵部左侍郎。1449年，北方游牧瓦刺贵族也先兵分四路进攻明军。在“土木堡”战役中，明军大败，50万大军土崩瓦解，英宗被俘。在此危难之际，于谦由留京代理兵部尚书升为兵部尚书，担负起保卫京都、提升军备的重任。当年10月，也先挟英宗率大军破紫荆关，直接到达京都附近。10月11日，京城保卫战前锋战开始，于谦亲率22万官兵分九门把守，经过5天5夜的誓死拼杀，敌寇撤退，这场京都保卫战以完胜结束。之后，于谦又调遣各路兵马，继续追击，直打到居庸关才停止。 
        1450年，代宗朱祁钰登基，亦称景帝。8月，英宗被掠去北方一年之久，也先见征服大明帝国无望，便派人议和，并提出放回英宗。两个月后，英宗回京。1457年，乘景帝病危，拥立在上皇身边的大宦官石亨、徐有贞、曹吉祥等之流，经过密谋策划，发动了残酷的“夺门之变”，英宗复辟，改年号为“天顺元年”，这是英宗第二次登基，在大明帝国的历程中是“空前绝后”的。此时，景帝处于病危状态，无力顾暇。一个月后，景帝驾崩。旋即，于谦和大学士王文等数十人被捕入狱，并罗织罪名，说他们“意欲”有迎立“外蕃”篡权。4天后，于谦在京遇害，时年60岁，史称“行路嗟叹，无下冤之”。其灵柩由女婿朱骥运回钱塘故里，葬于西湖畔之三台山麓，与岳飞之墓遥相呼应。前人作文写诗，往往把西湖同岳飞、于谦相提并论，可见其英名之久远、人民之拥戴。其中，明末抗清英雄张煌言在他的《绝命辞》中写道： 
        国破家亡欲何之，西子湖头有我师。 
        日月双悬于氏墓，乾坤半壁岳家祠。 
        清人袁枚也作诗赞曰： 
        江山也要伟人扶，神化丹青即画图。 
        赖有岳于双少保，人间始觉重西湖。 
        于谦在京遇害的消息传到开封后，无数百姓无不为之痛怜，怀念之情无以言表。当年，在铁牛村的回龙庙旁，由城乡官商士绅发起，建立了一座庇民祠，以彰显于谦在开封治河爱民之德。1642年，黄河又复决口，回龙庙和庇民祠被洪水荡平，唯镇河铁犀犹存。1691年，河南巡抚阎兴邦捐奉重修庙宇，改回龙庙为镇河铁犀庙。阎兴邦亲撰碑文，并同于谦《镇河铁犀铭》一道，勒石刻碑，即今仍可供游人观瞻的镇河铁犀庙碑和铁犀铭碑，与“镇河铁犀”一道矗立于当今的镇河铁犀苑内，成为我市青少年爱国主义教育基地之一。不幸的是，镇河铁犀庙在1841年又一次被黄河泛滥化为了一片废墟。在镇河铁犀庙旧址曾盛行百余年的古庙会（每年农历四月初八），由此而终止。 
        1489年，皇帝赐于谦“特进先禄大夫”、“柱国”、“太博”，并赐谥号“憨肃”，赐在其墓建祠堂。明万历年间，皇帝又进一步改赐其谥号“忠肃”。后在杭州、山西、河南均建有祠堂，几百年来人们恭祀不已。 
        在中国“上下五千年，英雄万万千”的历史进程中，杰出人物灿若星辰，而于谦无疑是其中明亮的一颗。