郑州秦汉魏晋南北朝时期一直属荥阳或中牟县管辖。
    581年，隋文帝杨坚建立隋朝，不久统一了天下，结束了魏晋南北朝时期长期分裂割据的局面。隋文帝对地方建制进行了改革，将北朝以来实行的州、郡、县三级制改为州、县二级制。
    隋文帝开皇三年(583年)，隋政府将北周时的荥州改名为郑州，州治成皋(今郑州荥阳汜水镇)，下辖荥阳、成皋、密、内牟(即中牟，因避讳隋文帝杨坚父亲杨忠之名，将中牟县改为内牟县)、苑陵(今新郑东北)等县。从此，郑州一名开始用于今郑州地区。
    隋朝为什么改荥州为郑州，这与郑国有关。西周末年，周宣王把弟弟姬友封于郑国，地理位置在今天的陕西省华县一带。西周灭亡后，郑桓公的儿子郑武公护送周平王东迁洛阳，另一方面将郑国也迁到如今的荥阳、新郑、密县一带(郑国将都城从陕西华县迁到新郑的时间为公元前769年)，后代人为了区别西周时期陕西省华县的旧郑国，便将春秋战国时期郑国东迁后的国都称为新郑。新郑作为郑国的国都，存在了390多年。
    公元前375年，韩国灭掉郑国，将韩国的都城从阳翟迁到郑(新郑)。韩国定都在新郑145年以后，公元前230年，被秦国灭掉。
    秦国在此地置颍川郡，辖新郑、阳城等县。东魏武定七年(549年)，改颍州为郑州，治颍阴，辖许昌郡、颍川郡、阳翟郡，辖境相当于今许昌地区中北部。这一地区在西周初年为许国，春秋时期属于郑国之地。因此，东魏取”郑州”之名取代”颍州”，有可能与此地区曾为郑国之地有关。
    隋唐时期，郑州的行政建置时有变化，直到贞观七年(633年)郑州迁移到管城(今郑州市管城区)，郑州的建制和治所才固定下来。此后一直到明初，郑州的治所均设于管城。
    10月22日郑州宣告解放，郑州市民夹道欢迎人民解放军入城。10月23日，中共中央电贺郑州解放，郑州市军事管制委员会成立。同时，中共中央中原局和中原军区党委决定谷景生代理中共郑州市委书记。10月28日，郑州市人民政府成立，宋致和任郑州市市长。
    建国初期，郑州市由于交通便利，又是国家在第一个五年计划中发展的重点工业基地之一，城市建设和社会经济得到了迅速发展，中央决定将河南省省会由开封迁到郑州。
    1953年1月，经中央人民政府批准，扩大郑州市的管辖范围。
    1954年10月30日，河南省党、政、军、群等领导机关由开封迁到郑州。
    从此，郑州成为河南省的省会。