“當我走出囚室、邁過通往自由的監獄大門時，我已經清楚，自己若不能把悲痛與怨恨留在身后，那么我其實仍在獄中。”

1964年6月，南非政府以“企圖以暴力推翻政府罪”判處正在服刑的曼德拉終生監禁，當年他被轉移到羅本島上。羅本島是上世紀60年代中期到1991年那段時間內南非最大的秘密監獄。

曼德拉的獄室只有4.5平方米，他希望監獄方面同意他在監獄的院子里開辟出一塊菜園，監獄方面多次拒絕，但是最終還是同意了曼德拉的要求。在島上，曼德拉依然堅持著身體鍛煉，例如在牢房中跑步，做俯臥撐的鍛煉。

1982年，曼德拉被轉移回離別18年之久的非洲大陸，他被關押在開普敦的波爾斯穆爾監獄。他在這里也開辟了一片菜園，并且種了將近九百株植物。

1984年5月，官方允許曼德拉與其夫人進行“接觸性”探視，當他的夫人聽到這個消息時認為曼德拉可能生病了，當兩人進行探視時，他們互相擁抱在一起，曼德拉說：“這么多年以來，這是我第一次吻抱我的妻子。算起來，我已經有21年沒有碰過我夫人的手了。”