王世襄自称一生“玩物丧志，业荒于嬉”，但在中共建政后的政治运动中仍难逃噩运。他曾经回忆说：“我的前大半生是很坎坷的。‘三反’运动中被拘留过，1957年又被划为‘右派’，到‘大革命’（‘文革’）中已是一个‘老运动员’。”
1969年，已经55岁的王世襄与国家文物局系统的一部分干部和职工一道，被下放到湖北咸宁的"五七"干校参加"劳动改造"。他说：“在这里，牧牛、放鸭、养猪、种菜、插秧......甚么活都干过，甚么苦也吃过。”
三年多的干校生活尽管劳动艰苦、生活清贫，但他好玩的天性在这里找到了应有的乐趣。他很快成了养牲口的行家里手。一有闲暇，他跟当地老乡学采集野生菇，漫山遍野采灵芝，挖兰花，还常常跑到干校所在地向阳湖边向渔翁求教打鱼。直到1973年夏天，王世襄才回到北京。
1966年，文革的风暴席卷之初，王世襄耳闻目睹红卫兵的破“四旧”手段，预感家里多年精心收藏的明式家俱、佛像、铜器、鸽哨、古籍膳本和自己的手稿，都会遭到灭顶之灾。因此他被迫“自我革命”，跑到国家文物局，主动请求抄家，这才让自己的珍品躲过了被毁灭的一劫。
王世襄认为一生中做过的最有意义的事情有两件，一件是，日本投降后为人民收回几千件国宝，这些文物现在都藏在故宫博物院。第二件则是编写文物研究著作《髹饰录解说》。
王世襄出版的专著还有《明式家俱珍赏》、《中国古代漆器》、《中国古代音乐书目》、《蟋蟀谱集成》、《锦灰堆》等20多部，他的研究多受到中外学者的高度重视。
博学的王世襄在半生坎坷中并没有被压倒，反而时常苦中作乐，即兴赋诗，以明心志。他在劳动之余有感而发----
《畦边偶成》："风雨摧园蔬，根出茎半死。昂首犹作花，誓结丰硕子。"
王世襄先生的遗体已经在29号上午火化，12月4号在北京举行追思会。依王世襄生前愿望及家属意愿，不举行遗体告别仪式，家中不设灵堂。
