《履园丛话》记载杜士元所雕核舟，每枚值银50两。
即使如此，人们依然趋之若鹜。
杜士元一生嗜酒，生活悠游自在。
只有在他缺钱时才肯动手雕刻。
在其成名后，要是他手头有钱花不愁吃喝，你就是出一千两银子也休想买到他的核雕作品。
后来杜士元被召进宫内雕核，精品迭出。
皇帝赏赐给他很多金银、绸缎也都被他拿去换酒喝了。
后来他感觉成天被关在宫内十分烦闷，又没法出去。
有一天他突然发了疯，逃进圆明园里把一根紫竹砍了下来，截去两头，做了一直洞箫，独自爬到一颗大树上吹起萧来。
看园的人大吃一惊，如实报告了皇帝。
乾隆帝以为他真的疯了，便命令放他回家。
于是他又回到了吴县，依旧我行我素整天喝酒，过着逍遥自在的日子。
杜士元雕刻橄榄核舟如此精美珍奇，过去一直只见文字描述，从未见实物。
后常·熟博物馆首次将迄今仅见的一枚杜士元所制的《渔乐图》橄榄核舟亮相，让人一饱眼福。
这枚《渔乐图》橄榄核舟呈深枣红色，雕刻者就着橄榄核天然外轮廓弧线随形而雕刻出船底与船篷。
橄榄核舟上船篷舟楫齐全，蓬上楼空的鱼篓。