最早的长葛城，就是“鲁隐公五年，宋人伐郑围长葛”的那个长葛城。郑武公掘突辅佐周平王迁都洛阳以后，武力灭了虢国(在今荥阳一带)、郐国(都城在今密县东南大隗镇)，在新郑建立了郑国。相传长葛邑为郑武公掘突所筑，为其汤沐邑。郑简公将长葛邑封给了郑国执政子产做采邑。采邑的意思是：将长葛邑的公田收入和租税，作为子产的禄俸。长葛邑的具体方位，就在今天官亭乡孟寨村那片古城遗址上。现存西城墙3段，长120米，高3～4米，数十年前，城墙尚较完整，高约8米，上宽5米，墙上可种一畦地，后来平整土地，劈墙填壕，墙下垫高了2米，墙顶挖低了2米。南城墙和东城墙仅有墙基可寻。城东西宽500米，南北长450米，呈长方形，周长1900米，占地337.3亩。经考古工作者鉴定，确系春秋时代的古城墙。这座春秋时代郑国的城邑，战国时代先后为郑、韩、魏所占有。后因社中树暴长，更名长社，并在其南12里处新建一座更为宏大的长社城。原先的“长葛邑”那一带，便叫作“长葛乡”。
    长社城的故址在哪里呢?唐代李吉甫《元和郡县志》载：“长社故城在许州长葛县西五里，遗址尚存。”据专家考察推断，在今老城镇辘轳湾与打绳赵村之间。魏碑《禅静寺刹前铭》中“迩带地阙”所指的地阙，也许就是长社城。1985年在打绳赵村北双洎河岸边，曾发掘一段古城墙基址，夯土层厚约10厘米，夯窝为石杵痕迹。墙基附近还发现一颗带有铜箭镞的人头骨和一个陶纺锤。考古工作者初步认定这段古城墙基，即是古长社城基址。
秦行郡县制，长社这块地方是为长社县。长社城即为县城。从公元423年到549年这126年中，长社城还是颍川郡治和颍川州治。可惜，在东西魏长社之战中，东魏高岳、高澄，以双洎河河水代兵，把长社城给淹没、毁弃了。

    公元547～549年，东魏高岳、高澄进攻长社的时候，在长社城东南方的高地建起了一座新城，作为军队营垒，因城门楼是用战车车箱建成的，所以俗呼为长箱城。隋文帝开皇六年(公元586年)设置长葛县，长箱城便成了长葛县的县城。这个县城，便是现在的老城。从始建到现在，已经有1464年的历史了。

    这座长葛县城，原呈长方形，面积甚小，北城墙在旧县衙后街，西城墙在旧县衙西墙外，至清代顺治三年(公元1646年)，才改建成方形，并扩大了城区面积。城墙原为夯土墙，明代崇祯十三年(公元1640年)知县张熔乾抽调人进行补修，才砌成了砖墙。后因双洎河水冲决，屡次重修，到民国年间城墙高8．3米，顶宽3．3米，周长3250米，城内面积约1000亩。城外有壕，面宽20米，底宽12米，深6．7米，民国十三年，引清潩河水灌壕。城原有四门，明代正德年间，知县李璇为防止农民起义军攻城，筑闭四门，另开一小南门，让县民出城打柴汲水。嗣后，长葛城便有了5座城门。东门叫迎恩门，西门叫利用门，南门叫正德门，北门叫惠波门，小南门叫坤静门。城内的主要街道，有东大街和西大街，商业店铺多集中在这两条街上，此外有衙前街、衙后街、朱家巷等。城区人口最多时，达15000余口。
    城内无十字街口，据说因为没有出过状元，不敢开十字街口，文庙的“天开文运”照壁，也不敢开启正门。
    新中国建立后，中共长葛县委驻旧城隍庙，县人民政府驻旧县衙。直到 1960年10月，县委、县政府迁至和尚桥，原县城被称做“老城”。
现在的长葛城，是1958年开始兴建的。具体方位在北纬34‘13·25”，东经113‘46·08”。原为和尚桥公社和尚桥村。1903年京汉铁路通车后，被列为四等小站，仅有车站下的两条小街。1960年开始作为长葛县城时，城区面积1．6平方公里，新开的主要街道，有八七路，人民路，新华路，建设路等。房屋建筑面积55812平方米。以后，城区不断扩大，建筑不断增加。改革开放以来，城区建设迅速发展，1981年5月，县人民政府组织工程技术人员30多人，对县城规划进行修订完善，经县人大常委会讨论通过，报上级批准，付诸实施，使县城建设布局更加合理。1993年12月14日经国务院批准，长葛撤县建市。作为市委、市府机关所在地的长葛城，于1996年由同济大学重新规划，其方案经由省政府批准施行，长葛城自此以更加合理的布局更加迅猛的速度扩建其规模了。