1936年12月25日，張學良送蔣介石回南京，一下飛機便被送到宋子文公館，在這里住了5天，到了12月31日，他被通知去軍事委員會開會，進去之后才發現不是開會，而是軍事法庭對他進行審訊，最終被判處10年徒刑。
之后，張學良被送到騰空了的孔祥熙公館，這算是張學良被“判刑”后的第一個囚禁地點，本來應該是絕對保密的，但消息還是傳了出去，他在南京中央黨校受訓的弟弟張學思聞訊趕來看他，卻被憲兵擋在了門外。
1937年1月，國民政府委員會一致決議通過：張學良判處十年有期徒刑，特予赦免，擔保仍需交軍事委員會嚴加管束。為了切斷張學良與外界的任何聯系，蔣介石把他送到老家浙江奉化”讀書悔過“。
張學良在奉化溪口“讀書悔過”的日子，住過武嶺學校，后來移居雪竇山大陸旅行社招待所，之后蔣介石允許了他的夫人于鳳至跟趙四小姐與他同住。兩人商量一番后，決定每月一替一換，輪流陪伴張學良。后來，于鳳至為了使趙四小姐更好地撫養幼子，便說服她返回上海，自己留了下來。
說“讀書悔過”那就真的是“讀書悔過”，老蔣給張學良安排了一個清代老進士，每天安排一個半小時《論語》、《中庸》課程，但這位老先生只堅持了不到一周就自覺沒趣下山了。
同年10月，大陸旅行社招待所失火被燒毀，軍統決定把張學良轉移到黃山。在黃山，張學良被安置在段祺瑞修建的準備退隱后的學佛談經之所。誰知，剛住一晚，第二天早上，蔣介石親自打電話，命令馬上離開黃山，去江西萍鄉待命。
據說，當時有一部分東北軍在安徽駐防，蔣擔心他們會武裝“搶劫”張學良，三天后，張學良被迫上路。
在幾十名軍統特務和100多名憲兵“保護”下，張學良經過幾天跋涉，來到萍鄉。因為事先沒有做安排，一時間沒有住處，所以只能在萍鄉最熱鬧的大街趙了一家叫贛西飯店的大旅社。
但由于旅店里人多混雜，后來再城內專員公署附近一個巷內找到了一所房子，叫“絳園”，“待命”不到一個月，軍統來電，命令立即遷往湖南郴州。
1938年1月，張學良被轉移到湖南郴州蘇仙嶺蘇仙廟內。在這里，發生了一件事情。一天，張學良要下山到城內洗澡。行至途中，有一個佩戴國民黨炮兵中校領章的軍官迎面而來。
發現張后，立即向張恭敬地立正敬禮，張非常鎮靜，若無其事地走自己的路，并未理會那個軍官，但這卻把特務們嚇得手足無措。
特務們唯恐出事，趕忙將張重新押回山上，當晚由憲兵連增加崗哨，緊張了一夜，第二天查看新住地，第三天就轉移到了郴縣，然而又住了不到一個月，軍統局在此指示遷往沅陵 。
張學良被安置在了沅陵鳳凰山上的鳳凰寺，此時軍統對張學良的生活待遇已經逐步下降，遠不如以前，本來就被幽禁不得自由的他心情更差了，只能接釣魚來消磨歲月。
后來由于日軍節節進攻，戰線步步后撤，張學良的囚禁地又開始向西轉移。
1938年末，轉移到了貴州修文縣陽明洞，三年的幽禁生活不僅是在折磨張學良，也使得于鳳至受到了極大傷害，乳房爛瘡日漸加重，張學良便向戴笠提出，讓于鳳至出去治病，由趙四小姐來照顧自己生活。
1940年冬，趙四小姐到來，此后就再也沒有離開過張學良，1941年，張學良得了急性闌尾炎，到貴陽治病。
闌尾炎雖然不是什么大病，但由于耽誤了最佳治療時間已經開始化膿 ，形成局部性腹膜炎，所以只能開到刀將膿印出，兩個月后又第二次開刀切除。
為了治療方便，張學良提出留在貴陽的要求，得到了蔣介石的批準，出院后就住在了緊靠市區的乾靈山麒麟洞。
張學良在貴陽的消息，逐漸傳揚出去，蔣介石大為不滿，命令戴笠將張學良轉移到與世隔絕的窮鄉僻壤去，不讓世人知道他的蹤跡。
1942年2月，張學良再次踏上了“搬家”的道路。
張學良先是在開陽縣劉養育鄉過了一段養雞種菜的日子，但不久就被送到了惡名遠揚的貴州息烽集中營。
息烽集中營就真的是遠離人間，就在山窩里，楊虎城，以及幾位重要政治人物都先后在這里待過。張學良在這里被列為特別優待修養人，有自己院落，有媳婦可以陪住，當然，軍統的監視也很嚴密。
1944年，一小隊日軍曾跑到了黔南一帶，使貴陽一日數驚，蔣介石怕出事，便又讓張學良搬家。
這一次，搬到了桐梓。在這里張學良經歷了抗戰勝利，以及送禮物搭配小卡片（長信）提醒蔣介石該放釋放自己了，畢竟10年刑期已經到了。
然而老蔣沒給他回信，只送給了他回禮，一本1936年的日歷和一雙繡花鞋，當年的事情沒有忘，你還是繼續過幽禁生活吧。
1946年11月，在不知情的情況下，張學良和趙一荻被秘密從重慶轉移到了臺灣，進入了更秘密的幽禁歲月。先被送到新竹縣井上溫泉，到了1949年2月2日又被轉移到高雄，藏在寺山要塞的兵舍內，第二年一月又搬回了井上溫泉。
1960年，搬到臺北近郊北投，1961年9月，被批準能與自己的家書見面，到了70年代，對他的看管才慢慢放開，被允許見更多的人，1990年，張學良結束幽禁生活而能夠公開露面，最后再夏威夷定居。