徐世昌痴迷信奉吕祖纯阳道人吕洞宾，是我国史坛上人所共知的一件奇谈。作为一种信仰和精神寄托，也不足为怪。不过，人的命运、时运、财运、官运、祸福皆由自为和机遇而定，神人所起未卜先知或所谓的破灾消难之说，纯系巫术生财之道的把戏，不足过以认真看待罢了。 
    全国各地吕祖庙很多，北京琉璃厂吕祖庙，白云观西跨院吕祖殿，河南卫辉唐岗吕祖庙等，都成为徐世昌心目中全真道派丛林圣地。徐世昌少年时，与母亲、婶母等长辈长期定居河南，轮换在卫辉、开封、辉县居住，卫辉的吕祖庙香火很盛，香客很多，有道士二十多人。这座吕祖庙建于康熙二十三年，即公元1684年，有山门、戏楼、前殿、大殿、白云阁、厢房、客堂、花园等建筑，房子一百多间。前殿内有吕祖爷的半身塑像，半醉不醉，眯眼憨态，高五尺。据说是依照吕洞宾醉态而塑造的。吕洞宾是一位诗酒神仙，民间写其豪饮形状的文字很多，自称方号“人间一醉仙”而塑其醉酒像全身泥胎却很少见，这也是卫辉吕祖庙的一绝。讨签问卦，吕祖灵验很大，四里八乡善家成群结队，车拉马驮来这里烧香还愿。徐世昌、徐世光以及其姐姐徐世梅曾随母亲刘氏和两位婶婶一起到卫辉吕祖庙烧香、磕头、赶庙会、听庙戏。从小就受到吕祖的影响。 
    徐世昌为官数十年，官运亨通，归功于吕祖保佑有灵，纯系无稽之谈。但徐世昌有时却这么认为。所以，长期以来，他视吕祖为“护身符”，虔诚敬拜，不敢有丝毫懈怠。最终，因为失宠于直、奉派系吴佩孚、张作霖，连原来拥戴选举他登上总统宝座的皖系首领段祺瑞也一起轰逼徐世昌下台，徐世昌成为众矢之的，不得不被迫下野。这时，徐世昌想起了吕洞宾，他走进总统府密室沮丧地面对墙壁上悬挂着的吕祖神像，不住地摇头、窃叹，心里不住地埋怨吕祖为什么事前不给他显灵打个招呼，以供他应变这突如其来的不测厄运。徐世昌陷入了对吕祖的失望和信赖。国人破啼为笑。有的说徐世昌迷信神灵不妥；有的说徐世昌是一个文化人，有点蠢；有的说徐世昌不该对吕祖过河拆桥。徐世昌信奉吕祖一时成为笑谈。