605年，隋炀帝即命开凿大运河，“发河南诸郡男女百余万，开通济梁，自西苑引谷、洛水达于河（黄河），自板诸引河通于淮”，长1000多公里。

    608年，隋炀帝沿洛阳东北方向开凿永济渠，沟通沁河、淇水、卫河，通航至天津，接着，溯永定河而上，通涿郡。

    610年，隋炀帝继续开凿江南运河，使得镇江至杭州段通航。

    至此，以京都洛阳为中心，通过通济渠、永济渠两大渠道，沟通了海河、黄河、淮河、长江、钱塘江五大水系，总长2700公里的中国南北大运河全线贯通。

    大运河的主要功能是漕运。隋唐时期，洛河帆樯林立，泊船常有万余艘，洛阳成为中国最大的商品集散地，也是世界上较为繁华的大都市之一。洛阳的粮仓规模宏大，著名的有回洛仓、含嘉仓、兴洛仓、洛口仓等，其中仅洛口仓就存粮上千万石。后来唐太宗攻下洛阳后估计，隋末的粮储“得供五六十年”。

    隋炀帝还把大运河作为巡幸江南的水路。他从洛阳出发，乘坐4层宫殿大龙舟，前呼后拥，船舸数百。因此，大运河两岸建有平整的御道，以便数万纤夫和士兵行走；沿途建有40余座离宫别院，可供他休息并寻欢作乐。

    以洛阳为中心的大运河兴盛了六七百年，直到元朝。元世祖忽必烈统一全国后，政治中心移到北京。为缩短北京至杭州的船程，忽必烈下令取直大运河，在山东等地新修渠道。这样，大运河不再绕道洛阳，就是我们今天看到的京杭大运河。