《史记.孔子世家》有两处关于孔子思归的记载：“....孔子居陈三岁，会晋楚争疆，反伐陈，侵陈，陈常被寇。孔子曰：‘归与归与！吾党之小子狂简，进取不忘其初’,于是孔子去陈，过蒲(长垣)......”、“......冉求将行，孔子曰：‘鲁人召求，非小用之，将大用之也。归乎归乎！吾党之小子狂简，斐然成章，吾不知所以裁之。’......冉求既去，明年，孔子自陈迁于蔡......”。可见这两次思归之后,孔子都离开了陈地。但是第一次离开陈地往北走到了长垣，没有到漯河地区，所以归村不是来源于第一次离开陈地。归村在召陵，系蔡地。孔子第二次离开陈地往南，在往蔡之时候,途经召陵邑归村这个地方，在送冉求到鲁国任职时候,回顾自己一生颠沛劳顿所宣扬、所追求的“仁政”仍然无法被统治者所采纳，自感惶惶如丧家之犬不可终日，不由得悲愤忧愁一下子齐涌心头，山水这边秀，徒为他乡客，油然而生游子思归情怀，觉得自己这一个漂泊天涯的游子，谏君乏术，爱民无方，应该早日回归故里，颐养天年了。既然季康子重用弟子冉求，那么自己的政治主张在故乡就还有用武之地，于是孔夫子由衷地说出的“归乎归乎！”，叮嘱过他“你要是被重用了，要想着把老师请回去“之类的话，充分表明孔子漂流多年后，思念家乡想回去的心情，所以才留下孔子思归而来的村名，流传到今。清乾隆傅豫纂修的《郾城县志》有明确记载：“县东四十里俗云孔子思归处，《史记•孔子世家》孔子居陈三岁，会晋楚争疆更伐陈，及吴侵陈，陈常被寇。孔子曰：‘归与？归与？吾党之小子狂简，进取不忘其初’。又哀公二年，孔子如陈。四年，鲁人召冉求，孔子曰：‘归乎？归乎？吾党之小子狂简，斐然成章，不知所以’，载之求即去。明年，孔子自陈迁于蔡，孔子多居陈蔡之间。归村在召陵，系蔡地，距陈地近.......”
    唐宋年间在归村西头修了一座孔庙，以纪念夫子在此的生活。明朝又加以扩展修葺，当地人正德年间进士在京刑部主事刘校亲自发动村民捐款，为孔子树碑立传，引起世人对此处的关注。清顺治十一年(1654年，甲午)十一月，时任郾城知县的荆其惇为纪念孔子陈、蔡之行，在归村寨西门内孔庙中立《孔子归村遗迹碑记》一通，即“孔子思归碑”。思归碑绞龙碑头，赑屃座底，庄重肃穆。其后，清代皇帝康熙曾亲临此地瞻仰孔子思归处，凭吊“忠毅公”刘校的墓冢，让归村名扬海内。至乾隆三十九年(1774年)，时任郾城县知县周珍为春秋祭孔之便，于是兴师动众，把孔子思归碑从归村搬出，人拉肩扛，迁于郾城东关外官道路北高岗处，修建碑亭。咸丰二年(1852年)，归村人又录文刻石，将其复立于村内原孔庙中。根据孟巍坚回忆他幼年时跟母亲住郾城城内外祖父家生活。外祖公原是贡生任郾城知县“师爷”,外祖公家的“中堂内”，便悬挂着一幅当地名胜孔子思归处的[儒家师徒漫游图]，该“思归碑”的所绘就在其中。