隋朝建立后，定都长安。长安，位于八百里秦川中心，土地肥沃；平原四周又有大山环抱。当隋文帝杨坚结束魏晋南北朝的分裂局面后，就如西汉时，把关中的长安作为都城。但是，魏晋南北朝时期，政局动荡，关中经济情况已难以与盛极一时的西汉相比。西汉仅郑白渠即可灌溉农田4万多顷。魏晋南北朝时，这里有许多灌溉工程因无暇维修而湮废。因此，隋定都长安后，仰仗东粮西运的程度，远远超过西汉。这就决定了隋在立国不久，便着手穿凿长安---黄河间的运粮渠道。
        开皇元年，公元581年，隋文帝命大将郭衍为开漕渠大监，负责这一工程。但因仓促成渠，渠道浅窄，航运能力有限，难以满足日益增加的东粮西运的需要。开皇四年，公元584年，只好再次动工，加以改建。这次改建，要求凿得深宽顺直，可通：方舟巨舫。舫是一种两舟相并的船，体积大，容量多。要通航这样大型重载的舫，渠道必须又深又宽。改建工程由杰出的工程专家、大兴城的设计者宇文恺主持。《隋书·食货志》有：动工之前，宇文恺先派工匠巡历渠道，观察地形走势。如此，以便在实地调查的基础上，将渠道布置得更为合理。在上下共同努力下，工程进展顺利，当年即峻工。新渠仍以引渭水为主要水源，自大兴城至潼关，长300余里，命名为广通渠。广通渠的运量大大超过旧渠，对缓和关中粮食的紧张情况，有重要作用。
        大业元年，公元604年，隋炀帝杨广认为关中与山东、江南、河北等地，道路遐远，“兵不赴急”，应将都城东迁，于是立即下诏营建东都洛阳。接着，又陆续发令穿凿以东都为中心、通向江淮、河北等地的大运河。
最先穿凿的是通济渠亦称汴渠，凿于隋炀帝大业元年，公元605年。通济渠可分西、中、东三段。西段以东都洛阳为起点，以洛水及其支流谷水为水源，在旧有渠道阳渠和自然水道洛水的基础上扩展而成，到洛口与黄河会合。由于古阳渠又称通济渠，人们就把这一名称由西段扩大到了中段和东段。中段以黄河边上的板渚（今河南荥阳西部）为起点，引黄河水作水源，向东到浚仪（今开封）。这一段原是汴渠上游，隋朝加以浚深和拓宽。浚仪以下，与汴渠分流，东南走向，经宋城（今商丘南）、永城、夏丘（今安徽泗县）等地，到睢眙注入淮水。这是东段，多由自然水道拓展而成。
        当时，浚仪以下所以不再利用汴河旧道而另开新渠，主要是因为，汴河东段的位置偏北偏东，隋炀帝南巡江都，南粮北运进京，都过于绕远。且从汴河入淮，必须取道泗水，而泗水航道曲折，又有徐州洪水、吕梁洪水之险，二洪：悬水三十仞（一仞：周尺八尺或七尺。周尺一尺约合23厘米），横流90里（《水经注·泗水注》），经常翻舟，航行很不安全。浚仪到睢眙，地势比较平缓，河床比降适度；同时，经此而接邗沟，与经汴相比，航程也缩短许多。再加上当时河淮之间经济比较发达，是全国户口最密集的地区之一。隋朝实行郡制，每郡管辖若干个县。其中，只有44郡的辖县县平均户口在万户以上，而河、淮之间即占有九郡：有河南、荥阳、梁郡、谯郡、彭城、颍川、淮阳、汝南、汝阴等，可见这里户口的密集程度。为加强东都与这里的联系，也需凿渠穿行这里。
        通济渠三段全长近2000里。它不仅渠道长，而且因为要航行皇帝的龙舟，龙舟长200尺，上建四层重殿，高45尺，所以必须凿得又宽又深。深度多少，不见记载，宽度规定为40步。隋朝一步六尺，即渠宽为240尺，宛如一条大河。此外，通济渠还有一批附属工程，如渠两边修筑平整的御道，还要栽种柳树，以便数十万纤夫和军队行走；从长安到江都设置离宫四十余所，以便皇帝和后妃休息。整个工程由尚书右丞皇甫议负责，征发河南、淮北各郡的百姓前后100余万人，开辟通济渠。大业元年，公元605年，三月动工，到八月便交付使用。《资治通鉴》记载：十五日，炀帝即到江都游玩。江都位于江苏中部，南濒长江，西傍扬州，东与泰州接壤，北与高邮毗连。炀帝从显仁宫出发，王弘派龙舟来迎接。炀帝乘坐小朱航，从漕渠出洛口，乘坐龙舟。龙舟上有四层建筑，高45尺，长200尺。龙舟最上层是正殿、内殿、东西朝堂；中间两层有128个房间，都用金玉装饰；下层是宫内使臣住的地方。皇后萧氏乘坐的翔螭舟规制比炀帝乘坐的龙舟要小一些，但装饰没什么不同。另有浮景船九艘，船上建筑有三重，都是水上宫殿。还有漾彩、朱乌、苍螭、白虎、玄武、飞羽、青凫、陵波、五楼、道场、玄坛、板、黄蔑等几千艘船，供后宫、诸王、公主、百官、僧尼、道士、蕃客乘坐，并装载朝廷内外各机构部门进献的物品。这些船共用挽船的民夫8万余人，其中挽漾彩级以上的有9千余人，称为殿脚，都身穿锦彩制作的袍服。又有平乘、青龙、艨艟、八棹、艇舸等几千艘供十二卫士兵乘坐，并装载兵器帐幕，由士兵自挽，不给民夫。舟船首尾相接200余里，灯火照耀江河陆地，骑兵在两岸护卫行进，旌旗蔽野。队伍所经过的郡县，500里内都命令进献食物。多的一郡要献食百车，极尽水陆珍奇；后宫都吃腻了，将出发时，就把食物扔掉埋起来。
        通济渠工程浩大，施工时间仅用半年，可以说是古今中外运河史上的奇迹。当然，他们付出的代价也是巨大的，由于凿渠和造船劳累过度，据《隋书·炀帝纪》载：役夫死者十有四五！即约有40至50万人为此献出了自己的生命。
        通济渠凿成后，它与邗沟便成为黄河、淮河、长江三大流域的交通大动脉，南来北往的舟楫多走这一水道。特别是它对南粮北运，意义更为重大。隋炀帝在洛阳周围建有许多大型粮仓，如洛口仓（又名兴洛仓）、回洛仓、河阳仓、含嘉仓等，这些仓城都储有大量粮食，其中洛口、回洛两仓，即多达2600多万石，它们中的绝大部分，便是经通济渠从江淮一带运来的。
        隋炀帝为了提高山阳渎的航运能力，与通济渠配套，对这条古运河作了较为彻底的治理。山阳渎即古邗沟，它南起邗城，北到山阳县（今江苏淮安）。在凿通济渠的同时，即大业元年，公元605年，他又征调淮南10余万人投入这一工程。当时除了按照通济渠的标准，浚深加宽渠道，修筑道路、离宫外，又穿凿了新的入江渠口。由于长江沙洲的淤涨，原来山阳渎的入江渠口堵塞严重。这次扩建，便将南段折而向西，开了几十里的新渠，使其从扬子（今江苏仪征东南）入江。这就是隋唐时期著名长江渡口扬子津。山阳渎经过这次改造后，全线畅通无阻，像龙舟那样的庞然大物，也可进退自如了。
       在建成通济渠和山阳渎后的第六年，隋炀帝又下令拓展江南河。《资治通鉴·隋纪四》载：大业六年冬十二月，炀帝命令凿穿江南河，自京口到余杭（今浙江杭州），八百余里，广十余丈，使可通龙舟，并建离宫、粮草库，欲东巡会稽。会稽，指今浙江绍兴境内的会稽山，相传大禹曾会诸侯于此，千古一帝的秦始皇也曾登此山：望于南海（实指今东海）。隋炀帝杨广，也有效法大禹、秦皇的想法。不过炀帝登会稽的目的并未达到，因为下令穿凿不久，就被高丽战争和农民起义所困，再也无暇南渡长江了。但江南河的拓展，大大地推进了太湖流域航运的发展，也加强了与江、淮等地的联系。江南河至今仍是太湖流域的黄金水道。
隋时，今河南东北部、山西东南部和河北大部，是又一个经济发达、人口众多的地区，这个区域当时有户200多万，在全国900多万户中，几乎占了四分之一。隋朝推行租庸调制，按户、丁征收粟帛，征发劳力，户多丁多，上调的粟帛等也多。这就需要有一条粮帛南运进京的水道。隋炀帝着意开拓边疆，积极准备用兵辽东，他以涿郡（今北京）作为征辽基地，要将大量的军用物资和军事人员北运，也需要有一条从东都到涿郡的军需供应线。于是，隋炀帝在完成通济渠和山阳渎之后，决定在黄河以北，拓展一条航运能力较大的运河，这就是穿凿永济渠。
        大业四年，公元608年，隋炀帝诏令发河北诸郡男女百余万，开永济渠，引沁水南达于河，北通涿郡。永济渠也可分成三段。南段起于沁水入河处，北到卫县（治所在今河南浚县西）。这是当时新凿的渠道。卫县以下经馆陶、东光等地，至今天津市境与沽河会合。这是中段，它以曹操时的故道为基础，扩展成为大渠。由今天津市到古涿郡为北段，系改造两条自然河道而成。一条是古潞河下游，它位于今天津市和武清县间。另一条是桑干水（今永定河）下游，当时它位于今武清县到古涿郡南郊。南、中、北三段运河共长1900里左右，大体说与通济渠相当。这也是一条历时很短、不到一年便完工的运河。它的宽度虽然不及通济渠，但运输能力很强，并且也可航行庞大的龙舟。大业七年，公元611年，炀帝伐辽东，当时他就是乘龙舟到达涿郡的。伐辽东出动军队100多万人，后勤供输极大，主要就是沿这条水道北运。
        广通渠、通济渠、山阳渎、江南河、永济渠，虽然是五条运河，但由于它们的规格大体一致，组成了一个由长安---洛阳两都为中轴、成扇形、东南通余杭、东北到涿郡的完整的运河网，实为一条运河的五个组成部分。这个运河网把我国当时经济、政治、文化最发达的区域紧密地联在一起，对统一国家的巩固和繁荣，都有难以估量的作用。正是因为如此，隋炀帝兴建这些工程，虽然多从他本人需要出发，并给当时广大群众造成严重灾难，但后人还是给予很高的评价。唐末著名诗人皮日休便是这样认为的，在《汴河怀古》中说：
        尽道隋亡为此河，至今千里赖通波。
        若无龙舟水殿事，与禹论功不较多。