1961年，李敏夫妇在无奈中带着孩子搬出了中南海。一搬出中南海，李敏出入中南海的证件就被收回了，从此红墙不再是安全温暖的屏障，而是隔绝父女亲情的藩篱了。李敏搬出中南海后，毛泽东经常想念李敏。据李讷回忆：“姐姐搬出去自己住，爸爸起初不知道，姐姐以为爸爸知道，心里结着疙瘩。爸爸想起姐姐，就让我代他前去看望。姐姐在大学，我去看过她，她那个时候做化学实验，硫酸烧得裤子上都是洞。当时我去看过她，以后又看过她几次。我们姐妹是挺好的。她住在兵马司，后来又搬到景山后街。至少有两三次是父亲正式叫我去看她。我坚决执行，按父亲的意思去看。”

    一九六九年，李敏被下放到河南遂平县莲花湖“五七干校”。一九七一年“林彪事件”的发生，给毛泽东打击巨大。因病回京的李敏去看望父亲几次，但每次去，都让她觉得父亲“晚年的生活是孤苦的，内心是孤独寂寞的，也是矛盾复杂的”，而其中一次见面，父女俩竟然是“长时间的相对无语” ......