Năm 1987, nghỉ hưu mới được mấy ngày, ông Vũ Công Xem ở thị trấn Vạn Hà, Thiện Hóa, Thanh Hóa được bầu làm Phó chủ tịch Hội CCB huyện. Từ năm 1987-1995, ngoài công việc tập thể, ông luôn tranh thủ thời gian lao động sản xuất cùng con cháu, động viên giúp đỡ và hướng dẫn những kinh nghiệm, kế hoạch làm ăn thật chu đáo. Hiện nay, vừa con trai, con gái của ông đã có 2 mô hình làm ăn kinh tế trang trại có hiệu quả cao, điển hình cho các mô hình trang trại khác noi theo.
Ngày 19/5/2005, ông cùng Huyện ủy- UBND huyện Thiệu Hóa đứng ra vận động tổ chức thành lập Câu lạc bộ hưu trí Người cao tuổi, ông đã được các cụ Người cao tuổi trong toàn huyện Thiệu Hóa tín nhiệm bình bầu ông làm chủ nhiệm CLB. Ngày đầu mới thành lập chỉ có 102 hội viên, đến nay đã phát triển lên đến 254 hội viên sinh hoạt sôi nổi với nhiều nội dung hấp dẫn, phong phú và bổ ích, đã thu hút được nhiều hội viên tham gia. Ông luôn luôn quan tâm đến tình làng nghĩa xóm, đến dòng họ, anh em bạn bè, ủng hộ và giúp đỡ các phong trào hoạt động của quê hương. Hiện nay ông làm Phó ban liên lạc dòng họ Vũ của tỉnh Thanh Hóa, ông luôn rèn luyện sức khỏe (đi bộ, tập dưỡng sinh hàng ngày). Ông sống cần cù giản dị, thẳng thắn, liêm khiết. Mặc dù hiện nay tuổi cao, sức yếu nhưng ông luôn luôn mẫu mực để con cháu và mọi người noi theo.
Ông Vũ Công Xem 62 năm liên tục công tác và chiến đấu, không ngừng tiến lên từ cương vị này đến cương vị khác, luôn hoàn thành xuất sắc mọi nhiệm vụ . 62 năm tuổi Đảng là cả một chặng đường dài gian khổ hy sinh vào sống ra chết, trải qua bao nhiêu thăng trầm sóng gió của lịch sử quê hương đất nước, được tôi luyện trong lò lửa đấu tranh cách mạng của dân tộc chống giặc ngoại xâm, ông được tắm mình trong ánh hào quang rực rỡ tương lai của đất nước, sáng ngời ý chí kiên cường bất khuất của người Đảng viên của Đảng, phát huy bản chất truyền thống tốt đẹp của anh Bộ đội Cụ Hồ, của người chiến sỹ Điện Biên năm xưa, người CCB Việt Nam ngày nay
Công tác Hội