1960年4月，我陪毛泽东外出巡视，直到6月下旬，上海会议(就是毛泽东作《十年总结》讲话的那次会议)结束后才回到北京。在这次外出期间，毛泽东多次接见外宾，被接见的客人分别来自亚、非、拉美、东欧、西欧遍及全球；客人的身份从民间团体、社会知名人士到政府首脑和共产党的领袖；接见的地点有时安排在毛泽东临时下榻的地方，有时安排在他乘坐的专列上。这几次谈话都录了音，当然是经毛泽东事先同意的。

　　1961年4月，我正在河北省徐水宣讲《人民公社六十条》，突接龚子荣电话，说毛泽东追查录音问题，要我立即回京。我回到北京以后，才知道毛泽东在长沙准备接见外宾时发现要录音，生了气。我在向小平、彭真同志说明情况的同时，一方面向毛泽东作书面检讨，承担责任，说在录音问题上疏于检查，请求处分；另一方面责成机要室的同志抓紧组织力量，选择最重要的录音尽快转化为文字记录，然后把所有的录音带清点登记销毁。

　　中央书记处在小平同志的主持下召开会议，专门讨论了录音问题，通过了《关于录音、记录问题的决定》。《决定》提出：中央重要的正式会议，经书记处批准，可以进行记录。此外，党代表大会，中央全会，中央工作会议，中央政治局、书记处会议等中央会议；中央领导同志和党内同志的谈话；中央领导同志接见外宾的谈话一律不准录音。并要求中央一级政府、军队、人民团体、各部门和各地方各级党、政、军、群组织，均仿照这一规定办理。为了严格执行这一决定，又不能重复《论十大关系》无记录的错误，就决定选调一批青年，培养成速记员，恢复会场速记的办法。徐瑞新、田鹤年、师金城他们几个青年人就是这个时候调来学速记的。直到1965年冬，我被免去中央办公厅主任职务前，大型会议的记录都是用速记的办法完成的。

　　“文化大革命”开始后，“秘密录音”就成了我的一大罪状，说我搞“窃听”，是“大特务”。你整我一个人倒也罢了，可是因为是“窃听”，就把徐子荣、王芳等一大批人都牵连进去了，把毛泽东外出巡视时所有到过的省、市公安厅、局长都牵连进去了。这是林彪、江青一伙，为了整人不择手段就是了。当然，首先是毛泽东不喜欢录音。

　　我坚持认为，录音不但不是我的罪过，相反是一大功劳。录音，就是为了保存党的历史文献嘛！遗憾的是，1961年销毁了大批录音带，由于时间紧迫，抢救下来的东西太少了，不知有多少珍贵史料化为灰烬。