孩子们很小时我就将她们放在寄宿学校，起初在斯威士兰一个罗马天主教会学校。有讽刺意义的是，学校名字叫“忧伤圣母”。所以实际上她们只好自己照顾自己。
当滕比到约翰内斯堡时，他帮助照顾孩子们。她们非常喜欢他，后来开始认识到他是多么酷似她们的父亲。泽妮常常回忆那些年母亲唱着科萨摇篮曲的情形。
禁令也停止了温妮在儿童福利部的工作。警察对雇主们的威胁增加了她谋生的困难：从城里一家家具店到一家干洗店，然后又去修鞋店。
她从一个腼腆的姑娘变成了一个漂亮的少妇，她有一种象她丈夫的意气风发的活力。孤独和各种负担已经令人难以忍受，而孤独又加重了她对人轻信的弱点。几年后，两个她认为值得信赖的朋友都是警察的告密者。当保安警察散布她本人是一个告密者的谣言时，她极为痛苦，受到一些政治上朋友的排斥。当局总会让在罗本岛的曼德拉听到这种闲言碎语；可是他设法捎出口信，要求在这样困难的时期帮助他的妻子。
政府还不满足于这种卑鄙的迫害形式，强化了对温妮的禁令：1966年她又被禁止书写或发表任何东西。1967年两次被捕，被指控触犯了这样那样的禁令。在警察局牢房里拘留了4夜之后，她又被判处14个月的缓期徒刑。
多年后她这样说那些折磨人的日子对家庭的影响：
就南非的黑人妇女来说，每个黑人的家就是一个政治场所。黑人妇女发现自己必须向孩子们解释社会上发生的事。津妮大约6岁的时候，她问我一些每一个做母亲的都会面临的问题。她在外面玩着，突然跑进家里说：“妈妈，你是说爸爸在监狱里是因为他为黑人而斗争吗？”我说：“是的。”她又问：“可是小朋友们的爸爸在家里呐。为什么我的爸爸在牢里，而隔壁的爸爸不在？”在小小的年纪里就碰上这样一些难以回答的问题：关于警察、国家，隔壁爸爸的立场。觉悟是发自内心的。黑人生活没有一丝一毫不受到种族隔离法的影响，这些法律是如此蛮横，以至涉及到小小的孩子；他们所知道的生活就是如此。在我们的病态社会里，如果一个黑人没有坐过牢，你就会对他打量两遍。这意味着那个人有问题。一切价值观全被扭曲了。
年复一年，曼德拉和他的同志们一直在做苦役。不挖石灰石或不砸石头时，他们就得修路。一次他身体不舒服举不动沉重的大石头扔卡车上。总监狱长正和狱长一起视察，看到了曼德拉没执行命令。他被控诉为偷懒和不服从合法的指挥，受到罗本岛司法官的审讯，被判罚6天的单独监禁，吃节约餐。单独监禁的牢房冰冷，而节约餐就是煮过米的汤水。
60年代初，体罚让位于破坏犯人士气的做法。埃迪·丹尼尔斯(一个自由党党员和“非洲人抵抗运动”的破坏活动人员)说：“我们到了监狱，政府有两个目的：摧残我们的士气和让世界忘记我们。他们却灰溜溜地失败了。由于有曼德拉和西苏鲁在一起，我们没有被削弱；他们帮助你，使你坚强起来。”他还说，“曼德拉教我如何顽强生存。当我生病时，他让所有的人照料我。他还亲自来看我。他甚至给我倒大小便。”
通过绝食、怠工和其他抗议，以及国际上越来越多的支持，政治犯待遇有了改进：彼此有了交谈的权力，伙食得到改进，增发了毯子，发给了长裤。丹尼斯·布鲁特斯述说过这种情景：晚上，看守们走后，某个犯人会开始打口哨吹一支曲子——虽然吹口哨被禁止——于是就会听到来自另一牢房的应和声，直到口哨声四起，形成小型的口哨乐队。
时常抱怨的是医疗工作的疏忽大意和麻木不仁。监狱长的定期换任也使他们不安：每个新官都有他自己的馊主意，犯人们必须重新设法应付。有一个监狱长绰号叫做“铁汉”，幸亏只待了6个月。后来有一任狱长稍微好一些，他确实听取犯人的抱怨，可是他又被换走了。
尽管吃了种种苦头，曼德拉坚持每天锻炼身体。尽管监狱生活非常单调，他发现——所有犯人都这样认为——甚至在狱中，日子也每天不一样。新的一天对于他们而言，是友谊不断发展和充满共同体验的一天，是重温往事和重申对未来的信心的一天。
他喜欢说他在滕布兰度过的青年时期和谈论他的非洲之行，有时随着幽默感所至也对逸闻旧事加以发挥。他谈起自己经历过的一件事，描述他在加纳乘坐一架由非洲人驾驶的飞机时所感到的惊慌失措，他们怎么能驾驶大型喷气式飞机呢？他的不信任完全情不自禁，这无疑是在南非所受教育的结果。在飞行中，当驾驶员出来和乘客聊天时，他想，这些非洲人是多么不负责任啊！他不知道这架飞机是自动驾驶的。
他的一个难友帕斯卡尔·恩加卡尼博士说：“不管环境多么恶劣，你总会找到东西乐一乐。”“这是人性中的保护机制。有一次，监狱看守让我们凡有驾驶执照的站到一边来！我们中会开车的就都站到一边，我们想，让我们去开卡车，可交给我们的却都是独轮车！”
除了探视，学习的权利比任何其他待遇都更为重要。曼德拉继续攻读法律学位，可以工作到夜里11点，姆贝基及其他大学程度的人也可以如此。但是，那些正在准备考大学的人则必须提前一小时结束学习。如果有人被发现在规定的时间之后读书，那就要被罚禁食三顿。菲基利·班姆在判刑前是一个学法律的学生，他称赞这样的场面：曼德拉把题目告诉大家，接着主持政治讨论，以此来考验自己对所学知识的理解和记忆。犯人间也不断进行交流，彼此学习。最糟糕的处罚是减少学习时间。
政治犯绝不允许看外界的报纸和听外界的新闻。曼德拉有一次受到指控和处罚，因为发现他牢房里藏着剪报。可是犯人们还是想办法搜集信息，利用每一点信息，分析它的意义。
1965年人们很振奋。因为他们听说：布拉姆·费舍尔在领导非法的共产党而将受审时，转入地下，力图恢复斗争。大约有一年，他躲避了当局的逮捕。政府通过一项新的法律：保安警察想要提审任何人，都可以拘留180天，单独监禁。不出几周，他们得到情报，费舍尔也被逮捕受审，被控与他在“利沃尼亚审判”中为之辩护的人同谋。他被判有罪并判处终身监禁，和其他白人政治犯一起关在比勒陀利亚中央监狱。
从看守们的行为常常能够觉察到外面可能发生了什么事情。这时，曼德拉和岛上的犯人们就会受到更粗暴的对待。例如1966年纳米比亚爆发的武装斗争，就是这样。政治犯只得知事情的梗概，详细情况是西南非洲人民组织领导人安丁巴·贾·托伊沃被押到监狱后才清楚的。托伊沃关在“隔离区”，服20年徒刑。非洲解放斗争不断出现新局面：安哥拉、莫桑比克以及纳米比亚的斗争都在扩展。
j·b·沃斯特接替维沃尔德博士担任了总理，后者于1966年9月在白人议院中被一个精神错乱的白人信差所刺杀。
第二年一些民族之矛成员被送到岛上服长期监禁，他们是被罗得西亚军队俘获后交给南非警察的。他们和乔舒亚·恩科莫的津巴布韦非洲人民联合一起，组织了一支游击部队，打算在赞比亚与南非之间建立根据地。这个设想欠考虑的方案要穿过大片野生动物保护区和茫茫的灌木丛生地带，而且缺乏设备和经验，结果是一场灾难。
1967年7月艾伯特·卢图利酋长去世。他在散步经过一座铁路桥时，被一列火车撞倒。许多人，包括他的家人，怀疑官方调查的结论，那是一次因他耳聋造成的事故。
在流放中，奥利弗·坦博成为非洲人国民大会主席。在坦桑尼亚他还会见了非洲统一组织、坦桑尼亚、莫桑比克解放阵线和安哥拉人民解放运动等组织的代表，他们保证会全力支持非洲人国民大会争取自由的斗争。沃斯特、史密斯和葡萄牙卡埃塔诺的“邪恶同盟”遇到了各国解放运动所组成的同盟。
在南非，政府通过了“恐怖主义法”，并在1969年5月12日凌晨2时开始第一次大逮捕。在曼德拉家里，泽妮和津姬正在度假；她们和母亲正睡着觉，警察砰砰地敲门，手电筒从窗户往里乱照。他们命令温妮穿好衣服。由于孩子们紧紧抓着她的裙子，恳求警察放开她，温妮还要求把她们送到她姐姐尼基韦·克萨巴那里，她就住在附近。她的要求被粗暴拒绝，她只好将孩子留在家里。仅仅两天前，她到一个专家那里就诊，诊断温妮有心脏病——保安警察也知道这个情况。第二天早晨孩子们去找她们的姨妈时，她们没有一点关于温妮的去向以及她健康状况的消息。在罗本岛，曼德拉不久就知晓她已被捕。