郭忠恕画殿阁重复之状,梓人较之,毫厘无差.太宗闻其名,诏授监丞.将建开宝寺塔,浙匠喻皓料一十三层,郭以所造小样末底一级折而计之,至上层余一尺五寸,杀收不得,谓皓曰：“宜审之.”皓因数夕不寐,以尺郭忠恕画殿阁重复之状,梓人较之,毫厘无差.太宗闻其名,诏授监丞.将建开宝寺塔,浙匠喻皓料一十三层,郭以所造小样末底一级折而计之,至上层余一尺五寸,杀收不得,谓皓曰：“宜审之.”皓因数夕不寐,以尺较之,果如其言.黎明,叩其门,长跪以谢.尤工篆籀诗笔,惟纵酒无检,多突忤于善人.

聂崇义建隆初拜学官,河、洛之师儒也,赵韩王尝拜之.郭使酒咏其姓,玩之曰：“近贵全为‘聩’,攀龙即是‘聋’,虽然三个耳,其奈不成聪.”

崇义应声反以“忠恕”二字解其嘲曰：“勿笑有三耳,全胜畜二心.”忠恕大惭,终亦以此败检,坐谤时政,擅货官物,流登州.中途卒,藁葬于官道之旁.他日亲友与敛葬,发土视之,轻若蝉蜕,殆非区中之物也.

李留台建中以书学名家,手写《忠恕汗简集》以进,皆科蚪文字.太宗深悼惜之,诏付秘阁.

郭忠恕所绘画的殿阁重叠往复的状貌,木工们校对后,发觉分毫不差,宋太宗听说他的名声,下诏授予其监丞的职位.当时将要建造开宝寺塔,浙江的名匠俞皓,估计要有十三层高,郭忠恕用所造的模型从最底层逐层向上计算,到第十三层时还剩余一尺五寸,没有办法收尾.（于是）对俞皓说：“应该在计算一下.”俞皓为此几个晚上不睡觉,用尺反复校对,（发现）果然和郭忠恕说的一样.第二天黎明俞皓叩开郭忠恕的大门,长跪不起以感谢他.郭忠恕尤其擅长小篆、工于诗文,只是放纵酒欲不检点,多次侵犯宫中的善人.

聂崇义,建隆年初担任学官,是河洛地区的教官.赵韩王曾经拜访他,郭忠恕借着酒兴嘲笑聂的姓名来玩弄他：“近贵全为聩,攀龙即是聋.虽然三个耳,其奈不成聪.（接近权贵的都是昏聩的人,攀附贵族的都是不明智的人.虽然有三个耳朵,也不显得聪明）.”

聂崇义用“忠恕”二字回应反击郭忠恕,化解自己的尴尬道：“勿笑有三耳,全胜畜二心.（不要笑我有三个耳,你也不过全仗着有贰心.）”郭忠恕大为惭愧.最终郭忠恕因为自己的酒后胡言而被检举,被判以诽谤朝政,擅自将官方物品占为己有的罪名,流放登州,在中途去世,被草草地埋葬在官道旁边.

一天，嘉靖帝再次来访，君臣二人文兴大起，对起了对子。嘉靖帝首先出了上联：“朱帝八牛开山开水开社稷”。聂贤听过后，略微思考，对道：“聂臣三耳听天听地听君王”。作对不仅切题工整、遣词得当，且表露了效忠皇帝的一片真心。

嘉靖帝龙颜大悦，降下赦旨，聂贤以72岁高龄再次被起用任工部尚书、户部尚书等要职。这个记载在《聂氏家谱》上的故事一直为后人所传颂。

1544年，90岁的聂贤寿终，朝廷追赐祭葬，谥“荣襄”号，追封其三代恩萌一子，赠少保兼太子少保。在长寿，像聂贤这样供事三朝、官至一品的风云人物在历史上是绝无仅有的。