祥云寺是个由寺而形成的村落。据传：唐朝初年，大将尉迟敬德率部路经黄河南岸一地，天空突然飘来一朵云彩，这朵云彩放射出万道霞光，经久不散，把整个天空都映红了，瑰丽无比。谋士献策：“祥云普照必有神仙庇护，这里乃是人杰地灵的祥瑞之地，应该建寺使祥瑞保佑一方百姓”。于是尉迟敬德采纳谋士意见在祥云的下面建起一座寺院，取名“祥云寺”。寺院建成后，这朵云彩直扑寺中，就此消失。明朝末年，王姓从山西洪洞迁此定居，形成村落，祥云寺村由此而得名。

    寺院建在村西，占地两千余亩，气势恢宏。正院建一大殿，高大的圆木柱子四个人都合抱不住。东西偏殿与大殿紧紧相临。寺中原有一座铁塔，可惜如今只剩下一座塔墩。据说，当时寺中和尚达200多人，祥云寺与海棠寺、洪福寺三位一体，互有来往，在当地有较大影响。更值得一提的是，寺中名医，悬壶济世，有占地颇大的药坊，当时来此就医的人络绎不绝。

    1938年花园口决口，祥云寺村在劫难逃，在肆虐的洪水冲击下，顷刻间荡然无存。寺院虽然不在了，但祥云寺及其美好的传说却永远留在人们的记忆中。水灾过后，人们逐渐返回故乡，重建家园，祥云寺村得到了重生。