晋武帝秦始二年（公元266年），分河南郡设荥阳郡，郡址设在荥阳。后晋室发生八王之乱，在荥阳设重军。晋惠帝永兴二年(公元305年)，范阳王虎率兵驻扎荥阳，不久吕郎统兵屯驻荥阳。

    怀帝永嘉二年（公元308年），东海王、太傅司马越领兵驻扎荥阳。

    东晋元帝建武元年（公元317年）二月，刘畅领兵三万攻荥阳，太守李距由荥阳撤兵至新郑。

    晋太兴二年（公元319年），石勒攻占荥阳，荥阳归后赵所有，此时为洛州荥阳郡。晋成帝咸和三年（公元328年），刘曜击败石虎，荥阳太守尹距率部投降刘曜，荥阳遂归前赵所有。前赵、后赵在洛阳激战，后赵主石勒令石堪、石聪、桃豹率师会聚荥阳，然后大军直逼洛阳，灭掉前赵，荥阳复归后赵。晋成帝咸康元年（公元335年），体态肥大的且又有打猎癖好的石虎将荥阳等广大地区建成猎场。

    石虎杀死太子石宣自立为皇帝。梁犊为石宣的督将，被充军到西凉。梁犊等一万多人不堪虐待，宣布起义。这支军队骁勇善战，攻破长安，占领洛阳，来到荥阳。石虎任命王斌为大都督、姚弋仲为督冠军将军、蒲洪为车骑将军在荥阳与梁犊决战。姚弋仲手提大刀，跨上战马直取梁犊，只几回合，斩梁犊于马下，梁犊军覆灭。公元前315年，也就是晋永和七年，后赵被拓拔氏灭掉。姚弋仲及其子姚襄等降晋，姚弋仲的部将张平、高昌、李历等朝秦暮楚，时而降晋，时而降汉，时而降燕，他们先后率兵驻扎荥阳。

    前燕主慕容派兵征讨荥阳，荥阳太守刘远坚守城池，与前燕对峙。公元363年四月，前燕将军慕容忠再次领兵围攻荥阳，荥阳归前燕。公元370年，前燕与秦在荥阳展开激烈争夺战，秦军获胜，前燕败北，荥阳落入秦手，设豫州荥阳郡。该年十一月，秦灭燕。

    公元370年，乐安王臧驻军荥阳，王猛派建威将军梁成，洛州刺史邓羌击走之。

    公元383年，晋孝武帝太元八年，秦晋在淝水决战，以秦国失败而告终。慕容为前燕投奔秦国的将领，淝水之战时为秦守郧城，当他得知秦王坚失败，丢掉郧城跑到荥阳，准备北渡黄河，在北方与慕容一起重新恢复燕国。败君苻坚在危难之际，襄阳守将慕容垂力排重议，不但没有杀死苻坚，反而将一部分军队交给苻坚，使他得以平安回到京都，算是报答苻坚在长安对慕容垂的知遇之恩。而慕容垂也得到苻坚的允许可以回北方祭典宗庙，同时安定北方民心。慕容垂带领大军来到荥阳，荥阳太守余尉等人投降。慕容垂的部下异口同声请求他登皇位，慕容垂一口回绝，决不答应，但称大督督，大将军、燕王，代行皇帝事，部下对他称臣，不久称皇帝，是为后燕。公元385年，郑燮又将荥阳晋投降东晋。公元389年四月，即晋武帝太元十四年，翟辽攻破荥阳，俘获太守张卓。

    公元394年，姚兴灭掉前秦建立后秦，不久占领洛阳、荥阳，设置豫州荥阳郡。

    公元416年，东晋刘裕率军北阀，拔荥阳，置荥阳郡。公元419年，刘裕令毛德祖为荥阳太守，进驻虎牢关。是年九月，魏军先攻破虎牢，旋又占领荥阳，仍置荥阳郡。元嘉七年（公元430年）三月，宋文帝刘义隆大举伐魏，到彦之为统帅，约十万人水陆并进，势如破竹，收复中原领土，荥阳被攻克。该年八月，魏主反攻，荥阳太守崔模投降北魏。公元431年，魏主任命王慧龙为荥阳太守。

    荥阳本是水陆交通枢钮、政治、经济、文化、工业中心、繁华无与伦比，是中原大地一颗璀粲的明星，经过连年战争，她满目疮疾，成为一片瓦砾！北魏孝文帝于公元493年（太和17年）下诏将荒废的荥阳城迁到大索城（即今之荥阳城）。