回家后，张六韬很少谈论其昔日的辉煌，以至于乡亲们都知道他曾考中武进士，并在京为官，却不知道他究竟做过哪些事，功夫到底有多高。
　　有一次，几个乡亲和他家的长工为了试一下张六韬的功夫，就一起故意把一个碾场用的大石磙推进麦场旁的一个土井中，然后让长工到张家谎称碾场急用，请张去把石磙搬出来。张六韬来到土井边，先向里面看了看，然后把上衣一脱，光着膀子纵身跳进土井中。他抱着石磙一运气，硬是把一个３００多斤重的石磙举过头顶，并随手把石磙抛到井外的空地上。
　　后来，嘉庆帝进一步追查和珅的余党，张六韬遂被人告发与和珅关系密切。得知张因患眼疾早已辞官回乡，嘉庆帝觉得其中有诈，便派钦差以探望病情为名，见机行事，欲抓其回京问罪。
　　张六韬闻讯后，急忙向家人交代了一番，然后一咬牙一狠心，伸出手指将自己的双眼戳瞎。不久，钦差赶到，家人便热情招待了一番，并以重金相赠，使钦差的态度缓和了许多。为了不辱使命，钦差亲自查看了张的双眼，见果然已彻底失明，他不禁感慨万千：昔日京城的名人，如今竟落到如此田地！遂生怜悯之心，好言劝张六韬无需多虑，可以在家安度晚年了。然后回朝复命，说张的双眼确实已经失明，嘉庆帝从此不再追究。
　　见已经太平无事，张六韬开始大量购买土地，并在庙张村北建有一座占地１０多亩、内有三进院的大宅子，人称“大北院”。
　　道光年间，张六韬因病去世，被安葬在庙张村的张氏祖坟中。