建安元年，袁术进攻已接替陶谦的刘备，刘备派司马张飞守下邳，自率军抵抗袁术。两军相持一个多月，各有胜负。陶谦的旧部、下邳国相曹豹与张飞关系不好，被张飞杀死，下邳城中大乱。袁术写信给吕布，劝他袭下邳，许以军粮援助，吕布便东袭下邳。刘备的中郎将、丹杨许耽率丹杨兵打开城门，迎接吕布。吕布军放火，破张飞军，吕布俘虏了刘备的妻子儿女以及官员、将领们的家属。刘备、张飞投靠许昌曹操。
    据传，位于许昌东南18公里张潘乡古城西北隅的一处官驿，当年刘备、关羽、张飞就是驻扎在这里的。由于当时三人一无所有，一开始以种菜的方式来韬光养晦。
    建安四年，刘备从征吕布后，随曹操还许，曹操拜张飞为中郎将。
    在许昌不长的时间里，张飞一心为民，惩治贪官恶霸，为许昌老百姓办了许多好事，再加上他将勇猛无比，疾恶如仇，对刘备忠心和为人仗义。所以受到当地历代百姓的广泛喜爱，人们把刘关张住过的驿站建为张公祠以作祭祀纪念。
    据说当年刘关张三人来到这处驿站第一天晚上，刘备和关羽都已入睡。张飞由于来到一个新地方，坐也不是，睡也不是，于是信步来到了旷野处。
    月光下他隐约听到远处传来低微哭泣声，张飞循声而去，他来到一间破屋推门进去，只见一女子抱着一个女孩在哭，哀怨凄惨。问后得知，女子的丈夫欠当地大户人家陈龙二十两银子还不起。陈龙就此告官，她丈夫打入牢狱，打得皮开肉绽。无奈女子只好卖身来偿还陈龙，现在已经谈好身契了，明天就要卖给人家。女子因舍不下女儿，所以悲哭。
    张飞听后，又恼又气，但欠账还钱天经地义，于是决心帮她一把。
    张飞打定主意之后说：“卖身契写好了？”
    女子说：“没有!”
    张飞说：“既是如此，你赶快把见证人叫来，我回去拿银两给你。”
    那女子听了，充满疑虑的眼光看着张飞，许久不言语。张飞笑着说：“我是可怜你们受苦，所以决心帮助你们。我是真心的，不必怀疑了!”
    女子这才高兴地答应。张飞回到驿站，拿了三十两银子，返回去见女子和一老头坐在屋里。便问老头是谁。老头答说：“卖身的见证人。”
    张飞拿出银两来交给女子，并对老头说明情况。老头感激地说：“与您素不相识，居然如此高义，真是让人感恩不尽。明天一早我们就把银两交到官府，把她丈夫从狱中救出来!可是用不了这么多银两。”
    张飞说：“余出的银两，可以打理生活!”
    老头叹息：“您真是他们夫妇的大恩人，大救星啊!”。
    当问及张飞姓名时，张飞什么也不说，后来这对夫妇得知恩人是张飞时，便一连几代人到张公祠上香祈福。