山涛40岁开始当官，先是当河内郡的属佐，后任主簿（相当于办公室秘书）、功曹（相当于人事局局长）等，到洛阳后稳扎稳打，68岁出任吏部尚书，可谓大器晚成。长期主管人事工作的山涛79岁得以善终，堪称魏晋官场的奇葩。 
　　山涛身居要职，自然有不少人想通过给他送礼达到当官或升迁的目的，但山涛为官清廉，洁身自好，是一个非常讲原则的人。
西晋初年，陈郡人袁毅做鬲县县令时，为了得到提携，曾到京城洛阳大肆贿赂公卿大臣，厚礼自然也送到了山涛的府上。袁毅送给山涛的是百斤真丝，这在当时绝对是一份厚礼。
　　山涛不愿接受贿赂，但鉴于当时的官场风气，不便拒礼而破坏官场“潜规则”得罪众人，于是，他命家人将真丝包好，贴上封条，悬挂于梁上，吩咐谁也不准动用，并训诫说：“自今日起，但凡有送礼者，均以此为率。”
后来袁毅劣迹败露，被逮捕法办，凡是接受过他贿赂的人都被追究。办案人员到山涛府上问询，见那百斤真丝仍悬挂于梁上，虽已为虫蛀，且上面积尘有铜钱那么厚，但封印完好如初，不禁钦佩山涛清廉自守。从此，人们便送给他一个雅号“悬丝尚书”。 
　　西晋一统天下后，皇族开始穷奢极欲，在“后宫殆将万人”“日食万钱”的情况下，还欲壑难填，直说“无下箸处”。皇族如此奢靡，世家大族争相效仿，但山涛为官30多年，一直过着低调的生活，与结发之妻感情深厚，哪怕后来贵为吏部尚书，仍然“贞慎俭约”“而无嫔媵（yìng）”，经常接济穷人，是历史上少有的清官之一。