张士衡,瀛州乐寿县人。父亲张之庆,为齐朝国子助教。士衡九岁时母亲去世,他哀悼思慕超过礼仪,父亲的朋友齐朝国子博士刘轨思见到他,常常掩面而泣,对他父亲说:“从前伯饶号‘张曾子’,又岂能远过于此!我听说君子不亲自持教,我当为你成就他。”待士衡长大后,轨思给他讲授《毛诗》、《周礼》,士衡又跟熊安生和刘焯学习《礼记》,都能精研深究其中的主要论旨。此后,遍读《五经》,尤注意攻读《三礼》。在隋朝做官任余杭县令,后以年老辞归乡里。
贞观年间,幽州都督燕王李灵夔准备了黑色的束帛作为礼物,到士衡家去迎聘他,拜他为师。庶人承乾在太子宫,又对他加以表扬征召。待到洛阳宫谒见皇上,太宗请他登上殿前台阶,赐给他食物,提拔授官朝散大夫、崇贤馆学士。承乾看见他,问他齐朝灭亡的原因,回答道:“齐后主昏悖暴虐无度,亲近小人,以致像高阿那、骆提婆、韩长鸾等人,都是些奴仆下等之才,凶狠险恶无赖之辈,他却相信他们任用他们,把他们当作心腹。他们诛杀迫害忠臣良将,疏远猜忌骨肉至亲。穷奢极欲,伤害百姓。因此当北周的军队兵临城下时,没有人为齐朝效力,以至于灭亡,实在的原因正在于此。”承乾又问道:“以布施的方法来求取功德,真有因果报应不?”回答道:“侍奉佛法在于清净无欲,怀有仁恕之心。如果贪婪无厌,骄纵暴虐,虽然倾尽财力侍奉佛法,也不能拯救眼前的灾祸。况且善与恶的报应,如影随形,这是儒家典籍上的话,哪里只是佛经上说的。因此为人君父的,应该仁慈;为人臣子的,当尽忠孝。能做到仁慈忠孝,则福祉帝位长久;如果与此相反,那么灾祸就要降临。此中道理昭然若揭,愿殿下不要为此忧虑。”到承乾太子位被废除后,诏敕车马给他,让他回归本乡。贞观十九年(645)去世。
士衡以礼学为最优秀,当时跟随他受业而大有名望于一时的,其中以贾公彦最为著名。