从开封的午朝门到龙亭，中间有一条笔直的大路（宋时为寿宫弛道），大路的东西两侧各有一个大湖，东湖叫潘家湖，西湖叫杨家湖。两湖相通，但水色不一样。东湖水浑，西湖水清。相传，东湖是宋朝太师潘美的住宅，他陷害忠良，是一个奸臣，宅基上形成的湖，水是浑的；西湖为宋朝抗辽名将杨业的住宅，他家世代忠良，舍身报国，宅基上形成的湖，水是清的。
    “杨家湖，潘湖浑，奸贼谋害忠良臣”。这首历史久远的民谣，至今仍在开封居民中广为流传。关于潘杨二湖，至今还流传着一个悲壮的故事：
    在北宋太宗年间，北方的契丹经常派遣骑兵南侵，进行掠夺，成为北宋王朝的最大威胁。在抗击辽军的斗争中，涌现以“杨家将”为代表的一批英雄人物，英勇地保卫大宋江山。一代名将杨业，文武双全，英勇善战，屡建奇功，人称“杨无敌”，辽军闻名丧胆，只要一见“杨”字大旗，就无心恋战，掉头逃窜。杨业的军事才能、心胸狭窄的潘美，眼见杨业本领比自己大，惟恐杨业功高誉重，地位超过自己，早就盘算着要寻机陷害。机会终于来了，有一次，辽军南侵，宋太宗派潘美任边防驻军主帅，杨业为副帅，统率三军北上抗击辽军。由于杨家奋勇作战，很快收复一些失地。但潘美却私自下令，从前线撤回杨业麾下的许多人马，削弱杨业战斗力量，准备伺机加害杨业。辽国的萧太后探得这个情况后，亲率十万精兵，乘机猛攻宋军。杨业知道敌强我弱，不能硬拼，就建议用声东击西的策略，一部分一部分地歼灭敌军。但潘美坚决不许，还恶语伤人，心怀叵测地质问：“杨家军素有‘无敌’的称号，如今面临强敌，故意避免接战，却要躲开，莫非有什么别的企图吗？”硬逼着杨业与敌人正面交锋，企图借敌人之手杀害杨业。为避嫌疑，耿直的杨业亲率本部人马出战。行前，他与潘美约好，由潘美选一千名弓箭手，埋伏在陈家谷口两侧，等他把敌军主帅诱到谷口时，左右夹击。潘美表面满口答应，暗地里根本没有布置伏兵，早带着人马一溜烟地走了。杨业率军拼死同辽军激战，被团团围住，杨业父子和手下将士虽然英勇，可是寡不敌众，只得且战且走，指望走到陈家谷口，救兵接应，便可脱险。哪里料到陈家谷口竟是冷冷清清，连个人影也没有。杨业目睹此情，气愤到了极点，便奋不顾身回马杀向辽军。宋军杀声连天，左冲右突，勇猛非凡。当部下战死殆尽后，杨业仍不顾遍体鳞伤，飞舞手中大刀，上下翻飞，亲手杀死了几十个敌军。最后终因战马负伤，不能行走，落入辽军之手。被俘后，杨业叹道：“我一心想尽忠报国，反而被奸臣陷害。现在兵败被俘，活着还有什么脸见人！”于是绝食三日而死。
    后来，杨业的夫人佘太君向皇帝宋太宗告了潘美的状，打了一场官司。然而宋太宗只是把潘美免去太师而敷衍了事。这怎能叫人心服？佘太君怀着一腔义愤，带着一家老小，离开了开封杨府，到河东隐居去了。杨府成了一座空宅，潘美喜不自禁，高兴得手舞足蹈。谁知老天有眼，忽然刮起了三天三夜狂风，下了三天三夜暴雨。一路之隔的潘杨二府，在疾风暴雨中淹没成了一片汪洋，杨府早已人去楼空，而潘府遭到了灭顶之灾。狂风暴雨过后，潘杨二府陷进地里，变成了两个湖泊。杨家爱国爱民，是清官，湖水也是清的，人人敬仰；潘家祸国殃民，是奸贼，湖水浑浊，人人唾骂。
    其实潘湖和杨湖的形成是有其原因的，除了战争因素之外，主要是自然灾害因素。据史记载，北宋的皇城就建在现在的潘杨湖一带。明代的周王府又建在宋朝、金朝故宫的遗址上。明末崇祯十五年（公元1642年），开封被黄河水淹没，周王府毁灭，直到清初，开封城及近郊一片荒凉。清朝顺治十六年（公元1659年），在原周王府的遗址上，修建了河南贡院，贡院的南边是道路，贡院的北、东、西三面全是空地。故此，从清初就不断有人在这一带挖掘古器物。在积水和地下水的双重作用下，到雍正四年（公元1726年），贡院的东、西、北三面已经是水塘了。可以断定，潘杨湖在此之前已经开成。潘杨二湖是无源的积水，如果遇到大旱之年，水面缩小、淤浅，甚至完全干涸，然而，如果突然一场洪水或是连阴暴雨，又会使二湖水波荡漾。
    从此以后，潘杨二湖成为稳定的湖泊至今。
    两湖之间，虽然只有万寿宫弛道相隔，但水色却截然不同。其原因主要是周围环境造成的。潘家湖周围居民较多，加上岸边又有些手工作坊，污水排入湖内，使湖水污染变色。杨家湖位置较偏僻，周围居民稀少，因此湖水清清，波光粼粼。虽然两湖之水，可以通过桥水相连，但是由于湖水为死水，不能流动，所以两湖之水连接处，仍是泾渭分明。
杨家湖名称的由来，从明代李之廉《汴京遗迹志》记载中可知，开封城内西北部有一湖泊，叫杨六将（杨延昭）宅水泊，位置是今杨家湖西部部分水面。因此，人们就将万寿宫弛道以西的湖泊称之为杨家湖。既然湖水清澈的西湖叫杨家湖，那么湖水浑浊的东湖就应该叫潘家湖！人们根据潘杨故事，附会成的潘家湖和杨家湖名称，经过世世代代，流传至今。