决议一定，于谦伏案书写奏章，向户部申请经费。这项利民的奏章，很快得到皇帝的御批，经费下拨到位。在府衙议事厅，于谦召集河南各府、州、县官员及驻防官军，安排修筑护城大堤民工人数、各种工具、牲畜，各堤段任务分配等各项事宜。据当初统计，护城堤距开封城墙三五公里不等，大堤总长约40公里，平均高8米、顶宽10米、底宽60米，从开封城西、北、东三面同时动工。筑堤工地上，数十万人马车推马驮，彩旗猎猎，一派热火朝天的景象。一座座营帐绵延展开。简陋的大草篷下，一座座大型炉灶冒着炊烟，有蒸馍的、有炒菜的、有烧汤水的，一片忙碌景象。
    于谦同官兵、民工一道运土方、装沙袋、垫秸秆，挥汗如雨；同下属官员视察工程进度，检查大堤的坡度，用铁钎探扎土方堆积的硬度，发现有偷工减料者，立即命其返工，充分表现了于谦对工程质量严格把关，严肃认真。数月里，百姓常看见于谦骑着一匹黑色的瘦马，带领几个随从，往返于开封的西、北、东三面环城几十里的修筑城大堤的工地上。经过近一年的紧张施工，大堤终于大功告成，开封古城又添了一道抵御洪水的坚固屏障。东护城堤自城东南的横船湾，向北至城东北的刘寨，转弯向西；北护城东起刘寨，向西至城西北的辛堤头村，转弯向南；西护城堤北起辛堤头村，向南至城西南的刘寺村，转弯向东。
    大堤修成后，于谦令在大堤上广植树木，主要是刺槐，巩固大堤表层的安全。随后，于谦召开护城堤竣工表彰大会，对功臣和立功将士大加犒赏，并大摆筵席热烈庆贺。场面宏大，鼓乐齐鸣，彩旗招展，秧歌、舞龙、舞狮、旱船等悉数登场。数年后，每到春暖花开季节，遍布大堤上的一片槐树，白中含绿的槐花散发出沁人心脾的馨香。在一些灾荒之年，槐花拌和杂面蒸熟，不知挽救了多少灾民的性命。
    明正统十二年，于谦父病故，请回乡守制（古代父母病逝，官员暂停职务，回乡守孝27个月），朝廷不允。他仅回乡参加葬议，事毕回京，留兵部任兵部右侍郎，留部理事，结束在河南18年巡抚的任职生涯。明景泰二年，继任巡抚都御史王暹，补筑南护城堤，使南护城堤西起城西南刘寺向东至城东南的横船湾东西相接，四周合围。与东、北、西大堤尽植槐树不同的是，南大堤上则种植柏树，远远望去，大堤上柏树茂盛，四季常青。