赵构退位后，自称不再问朝政，其实也干预些政事。有一天，他去灵隐寺冷泉亭喝茶，有个行者对他照料得很殷勤，他打量了一番行者说：“我看你的样子不像个行者。”行者哭着诉说道：“我本是一个郡守，因为得罪了监司，被诬陷降罪，罚为庶人。为了糊口，得来此处投亲，干此贱活。”赵构当即说：“我明天替你去向皇帝说明。”回宫后果真对皇帝讲了，要复他的职。几天后他再去冷泉亭，见行者还在，他回宫后在宴饮时便怒容满面。孝宗小心翼翼地问赵构为何生气，赵构说：“我老了，没人听话了，那行者的事，我几天前就同你讲了，为何不办理？”孝宗回答说：“我昨日已向宰相讲起，宰相一查，说此人是贪赃枉法，免他一死已经宽大，再要复职实在不行。”赵构却不顾这些，说：“那叫我今后怎么再见人，我已经答应他向你求情。”孝宗无奈，只得去对宰相说：“太上皇大发脾气了，那人即使犯了谋杀罪，你也得给他复职。”宰相只得照办。
赵构政治上昏庸无能，然精于书法,善真、行、草书，笔法洒脱婉丽，自然流畅，颇得晋人神韵，明代陶宗仪《书史会要》称：“高宗善真、行、草书，天纵其能，无不造妙。”其书法影响和左右了南末书坛，后人多效法其书迹。
赵构少即醉心书道，陆游曾说：“思陵妙悟八法，留神古雅，访求法书名画，不遗余力。清闲之燕，展玩摹拓不少怠。”他曾自谓：“余自魏、晋以来以至六朝笔法，无不临摹，众体备于笔下，意简犹存取舍，至若禊帖，测之益深，拟之益严，以至成诵。”他整理收集宣和内府因战乱而散失的古代法帖名画，身体力行地提倡大众研习书法。他认为：“士人于字法，若少加临池之勤，则点画便有位置．无面墙信手之愧。”他自己善学《兰亭序》，便赠之与王子和朝中大臣，又让宋孝宗学书。一时间，以高宗为中心，南宋几乎掀起了一个学书高潮。马宗霍在《书林藻鉴)中说：“高宗初学黄字．天下翕然学黄字，后作米字，天下翕然学米字，最后作孙过庭字，而孙字又盛……盖一艺之微，苟倡之自上，其风靡有如此者。”这种以权贵的好恶而人为左右书体盛衰，影响了南宋书法的发展，但宋高宗对南宋书坛的贡献还是不能抹杀的。
公元1187年（淳熙十四年）旧历十月，赵构病死于临安宫中的德寿殿。死后的庙号为高宗。