2004年12月9日，袁伟民在离任之际说过这样一番话：“47年的体育工作，充满了紧张、激烈、挑战和艰苦。离任之后，我会参加到全民健身的行列中去，锻炼身体、享受人生。”果然，解甲归田后，他几乎消失在人们的视线中，而是回归了自己想要的那种生活：读报、写字、干家务……

　　曾经运动员的经历，使得70岁的他玩起各种项目都得心应手，最喜欢的则是网球和高尔夫。身为中国高尔夫协会主席，袁伟民偶尔会为一些活动开杆，而平日和他打球的，大多是他在工作中结识的朋友和往日的弟子，当年的老女排队员们都知道袁伟民的这个爱好，所以经常招呼“袁头”出来打球吃饭，在阳光下草地上畅享家庭聚会般的日子。国家体育总局训练局的网球馆里，也常常出现他的身影。据媒体介绍，书法也是袁伟民的业余爱好，闲暇时，他还会帮助夫人做家务，琢磨些居家过日子的小窍门。

　　在担任中国体育掌门人的那些年，袁伟民非常低调，从不接受电视专访，退休之后，几乎所有的著名主持人都通过各种关系要求采访，但都被他婉拒，因为在他看来：电视是需要剪辑编辑的，难免被断章取义，是自己无法掌握的；写书就不同了，“终审权”毕竟掌握在自己手里。所以这五年来，“我自己也在思考，也在总结”，然后才开始动笔，“下来后，(大家)都看不到我了，(关于我的)传说很多，好的坏的都有，我看得很淡。”今年10月，正好是他从事体育工作50周年。