海瑞等待朝廷的批復(fù)，久等不來(lái)，傳來(lái)的都是壞消息。他心情十分煩燥。這時(shí)，家庭又發(fā)生變故。由于不堪婆母的冷淡，海瑞的夫人服毒自殺，而海瑞的妾因?yàn)槭艿胶Ｈ鸬呢?zé)備，也在當(dāng)晚自縊而亡。這件事又成了眾人攻擊海瑞的借口。
他被說(shuō)成是一個(gè)怪異的變態(tài)者，不合常情的瘋子，不然，何以妻妾同時(shí)死在同一天？皇帝原還想對(duì)海瑞換個(gè)位置讓他發(fā)揮作用。這一來(lái)，只好同意高拱這些人的建議，把他降級(jí)，調(diào)一個(gè)最閑的差事讓他干，高拱卻連這樣的閑差也不肯給他，讓吏部搞了個(gè)“并職”的把戲，存心羞辱海瑞。
海瑞在這種情況下，只有要求退休。他以為無(wú)論如何也會(huì)有人替他講句公道活，誰(shuí)知道，本章一上，馬上批準(zhǔn)。海瑞同押旨前來(lái)的戴鳳翔(蔡國(guó)慶 飾)辦理交接。他表示并不太在意個(gè)人去留，關(guān)心的是，能不能把他開始做，而且認(rèn)為該做的事做完。
但他看到，隨著他交權(quán)，徐瑛馬上被無(wú)罪釋放，已退給農(nóng)民的田被重新收回，鄉(xiāng)紳們彈冠相慶，受冤者無(wú)助痛哭……他完全失望了！在留給張居正的信中，他為自己所做的事辯護(hù)，痛責(zé)“滿朝諸公，盡婦人也！”但這又有什么用？
在百姓的哭聲中，海瑞黯然掉頭，踏上遙遙歸路。海瑞的信在朝廷引起大嘩。連張居正也認(rèn)為他太過(guò)分了。但他利用海瑞的信，在皇帝面前巧妙地參了高拱一本，使高拱丟失了相位。數(shù)年后，皇帝以英年突然駕崩，張居正成為小皇帝完全信賴和依靠的首輔重臣，現(xiàn)在，他可以放手從事他的新政了。
主掌吏部的戴鳳翔因事去廣東視察，張居正突然向他問(wèn)起海瑞。戴鳳翔猜度首輔的意圖，決定轉(zhuǎn)道海南，去看一看這個(gè)閑居的老臣。海瑞在自己的草舍里接待了遠(yuǎn)道來(lái)的客人。母親去世后，他一個(gè)人孤獨(dú)而清貧地生活著，但草屋的墻上，懸掛的仍是他手書的“忠孝”兩個(gè)大字，他對(duì)朝政仍十分關(guān)心，拋去他同舊日學(xué)生的恩恩怨怨，他問(wèn)皇帝的起居，問(wèn)首輔的健康，問(wèn)新法的實(shí)行情況，最后，他把剛編定印出的自己的文集送給戴鳳翔，還請(qǐng)他給首輔張先生捎去一本，同時(shí)附去一封辭意懇切的信，期望還能有為朝廷效命的一天。
