天宝十五载（756年）七月十二日、马嵬之变一个月后、李亨就在灵武自行宣布即帝位，是为唐肃宗，改元至德，李隆基就这样被儿子推尊为太上皇，当天，肃宗就派使者前往四川，向太上皇报告这一消息，对于自己变成太上皇的事情，李隆基此时唯一能做的就是接受。第二年九月，郭子仪收复长安和洛阳。十月，唐肃宗派人入川迎接太上皇返回长安。，太上皇李隆基路过马嵬时、派人到杨贵妃的墓前祭奠，并想为她改葬。但遭受宦官李辅国反对而停止，李隆基只好秘密派太监准备了棺材，重新安葬杨贵妃。《旧唐书·杨贵妃传》:“初瘗时以紫褥裹之，肌肤已坏，而香囊仍在。内官以献，上皇视之凄惋，乃令图其形于别殿，朝夕视之”。

　　也就是：埋葬杨贵妃的时候用紫色褥子裹着埋葬，后来肌肤已经腐败但香囊还在。所以，内官便献上香囊，李隆基凄惨地看着，然后让人（王文郁）画了杨贵妃的画像放在别殿，白天傍晚都要去看看。刚回长安的时候，李隆基的日子还是不错的，居住在兴庆宫的李隆基虽然不再过问政事，但侍候他的仍是龙武大将军陈玄礼与内侍监高力士，另有玄宗的亲妹玉真公主与旧时宫女、梨园弟子为他娱乐。最重要的他还有自由，可以在自己的宫殿临街的地方看看百姓。但三年不到、宦官李辅国为了立功以固其恩宠，上奏肃宗说：“上皇居兴庆宫，日与外人交通，陈玄礼高力士谋不利于陛下。今六军将士尽灵武勋臣，皆反仄不安，臣晓喻不能解，不敢不以闻。”李辅国乘肃宗患病之机，矫诏强行把玄宗迁居西内。在途经夹城时，李辅国又率射生将五百骑，剑拔弩张，气势汹汹地拦住去路。此时的李隆基已七十五岁，早被吓的胆战心惊，几乎坠下马来，幸亏高力士挺身而出，李隆基才安全地迁居甘露殿，度过他最后的晚年…