高力士于太宗陵寝宫，见小梳箱一、柞木梳一、黑角篦一、草根刷子一，叹曰：「先帝首建义旗，新正皇极十有余载，方致升平，随身服用，惟留此物，将欲传示孝孙，永存节俭。」具以奏闻。上至陵日，山川雷隐，草木风生，陈千官朝见之仪，具九宾宗祀之礼。礼毕，俯伏流涕，若不自胜。须臾，闻鼓声四振，云雾朗清，万岁之声，岂惟于远近。一人之孝，固通于神明，不可得而称也。至寝宫，问曰：「所留示朕者何在？」力士趋入，捧跪上。上跪奉肃敬，如不可胜，曰：「夜光之珍，垂棘之璧，将以喻此，曾何足言！」即命史官书之典册。二十三年后，上忽言曰：「朕亲主六合，二十余年，两都往来，甚觉劳弊。欲久住关内，其可致焉？」三问群臣，卿士皆云：「江淮漕运，转输极难，臣等愚蒙，未知为计。」上甚不悦。后李林甫用裴曜之谋，爰兴变造。牛僊客取彭果之计，首建和籴。数年之中，甚觉宽贷。
上因大同殿，思神念道，左右无人，谓高公曰：「朕自住关内，向欲十年，俗阜人安，中外无事。高止黄屋，吐故纳新，军国之谋，委以林甫。卿谓知何？」高公顿首曰：「臣自二十年已后，陛下频赐臣酒，往往过度，使染风疾，言辞倒错，进趋无恒。十年已来，不敢言事。陛下不遗鄙贱，言访刍荛，纵欲上陈，无裨圣造。然所闻、所见，敢不竭诚。且林甫用变造之谋，僊客建和籴之策，足堪救弊，未可长行。恐变正仓尽，即义仓尽，正义俱尽，国无旬月之蓄，人怀饥馑之忧。和籴不停，即四方之利不出公门，天下之人，尽无私蓄，弃本逐末，其远乎哉？但顺动以时，不逾古制；征税有典，自合恒规。则人不告劳，物无虚费。军国之柄，未可假人；威权之声，振于中外。得失之议，谁敢兴言。伏惟陛下图之。」上乃言曰：「卿十年已来，不多言事。今所敷奏，未会朕心。」乃顿首曰：「臣生于夷狄之国，长自升平之代。一承恩渥，三十余年。尝愿粉骨碎身，以裨玄化；竭诚尽节，上答皇慈。顷绿风疾所侵，遂使言辞舛谬。今所尘黩，不称天心，合当万死。顿首！顿首！」上曰：「朕与卿休戚共同，何须忧虑。」命左右曰：「即置酒为乐，无使怀忧。」左右皆称「万岁」。从此便住内宅，不接人事。及开元之末，天宝之初，陈希烈上玄元之尊，田同秀献宝符之瑞。贵妃受宠，外戚承恩。罗吉、张俞兴党锢之狱，杨、裴、韦、李，受无状之诛。五六年间，道路以目，禄山之祸，自此兴焉。
至十年，上又言曰：「朕年事渐高，心力有限，朝廷细务，委以宰臣，藩戎不警，付之边将。自然无事，日益宽闲，卿谓如何？」高公曰：「比在内宅，不知时议。近于阁门外，见诸道奏事人说云南频有丧律，陛下何以御之？北兵近甚精强，陛下何以制之？但以皇威远震，圣泽停流，足以吞食鲸鲵，翦灭封豕。诸余纤介，曾何足云！臣恐久无备于不虞，卒有成于滋蔓，然后禁止不亦难乎？」上曰：「卿之所疾，渐亦痊除。今日奏陈，雅符朕意。近小有疑虑，所以问卿。卿慎勿言，杜复泄露，应须方便，然可改张。」高公顿首，谢曰：「以陛下至圣，微臣至愚，幸契天心，不胜欣庆。」其后杨李争权，竞相倾夺；王邢不轨，咸就诛夷。
十二年冬，林甫云亡，国忠作相，先酬宿憾，林甫被琢棺之刑；宁俟后图，国忠播宣淫之耻。
十三年秋，大雨昼夜六十日。陈希烈罢相，韦见素持衡。上因左右无人，谓高公曰：「自天宝十年之后，朕数有疑，果致天灾，以殃万姓。虽韦、陈改辙，杨、李殊涂，终未通朕怀。卿总无言，何以为意？」高公伏奏曰：「开元二十年已前，宰臣授职不敢失坠，边将承恩更相戮力。自陛下威权假于宰相，法令不行；灾眚备于岁时，阴阳失度。纵为轸虑，难以获囗。臣不敢言，良有以也。」上久而不答。
十四年冬，安禄山作逆，起自范阳，私聚甲兵，假称朝贡，囚李芝于真定，劫光于太原。长驱两河，将吞九鼎，蕞尔戎羯，乘我不虞。国家久致升平，不修兵甲，卒征乌合之众，以御必死之军。遂使张介然丧律于陈留，封常清弃甲于汜水。东京已陷，西土犹宁。有诏斩封、高于驿前，镇哥舒于关上。交锋纵镝，向历半年，斩将搴旗，不逾信宿，兵疲师老，众溃亲离。国忠促哥舒之军，务令速进火援；冀禄山之党，更却先投。烽火徧照于川原，羽书交驰于道路。西京于焉失守，万姓及此骚然。
十五载六月十二日，有诏移仗未央宫。十三日，有诏幸巴蜀。至延秋门外，上驻马谓高公曰：「卿往日之言，是今日之事。朕之历数，尚亦有余，不须忧惧。」扈从至马嵬山，百姓惊惶，六军奋怒。国忠方进，咸即诛夷；虢国、太真，一时连坐。
肃宗减随驾兵马，复至咸阳，未振军容，师徒小却，长驱卒乘，北至朔方。七日，万人劝进，让不获已，乃即皇帝位于灵武，八月，尊太上皇于成都，改元为至德元年。成都宣赦，上皇谓高公曰：「我儿嗣位，应天顺人，改元至德，孝乎？惟孝。卿之与朕亦有何忧？」高公伏奏曰：「陛下躬亲庶务，子育黔黎四十余年，天下无事。一朝两京失守，万姓流亡。西蜀、朔方，皆为警跸之地；河南、汉北，尽为征战之场。天下之臣，莫不增痛。陛下谓臣曰：『卿之与朕复何忧』哉，臣未也敢奉诏。臣闻：主忧臣辱，主辱臣死，死辱之义，职臣之由。臣不孝、不忠，尚存余喘，亲蒙晓谕，战惧伏深。」
初，上过利州，西临蜀都，往来表疏，道路相望。知两京有克复之期，兆人伫来苏之庆。仍皇情未畅，臣下多虞。及出剑门到巴蜀，井邑、气倏、风云，与中国而颇殊，对偏方而增恨，应沾扈从皆同此心。敕节度使崔圆以忠恳至诚，恐皇恩轸虑儿所，进奉不越时宜，应修殿宇，不剿人力。上为之悦，左右皆称「万岁。」上曰：「崔圆可谓大臣欤。」即日拜相。西南之俗，无不欣然。后崔相欲赴行在，未测圣情。上觉其忧惧，谓高公曰：「朕观崔圆，器宇冲邃，理识弘通，比诸宰臣，无出其右。若得对见，必倍承恩。」后果如上言。且蜀中风土，有异中原，秋热冬温，昼晴夜雨，事之常也。及驾出剑门到巴蜀，气候都变，不异两京。九月十九日，霜风振厉，朝见之时，皆有寒色。诏即令着袍。至二十一日，百官尽衣袍立朝，不依旧式。每奏事人，来往两京，动静无不尽知。
二年正月，禄山为子庆绪所杀，庆绪伪立。凶谋逆计，主以严庄；伪敕伪书，出于高尚。但置酒为乐，余无所图。上谓高公曰：「皇帝久在凤翔，兵威大震，凶徒逆党，即应殄灭。」高公伏奏曰：「逆贼背天地之恩，恣豺狼之性，更相鱼肉，其可久乎？」九月，皇帝在凤翔，元帅广平王中书令郭子仪驱百万之熊罴，吞二京之蚊蚋，不逾旬月，收复两都。庆绪北走于邺中，王师续围于城下。至干元元年，庆绪为逆贼史思明所杀，王师失利，再陷洛阳。李光弼作镇于河阳，郭英次安于虢路。上元元年，为子朝义所杀。至宝应元年，却收洛阳。朝义奔走，不知所在。上皇谓高公曰：「安、史二逆贼，父子相次伏诛，岂非天地神明之所殛罚也！」高公曰：「皇帝圣化无穷，陛下仁德，福流万叶。凡是凶丑，自合诛夷，不胜庆快之至。」
初，至德二年十一月诏，迎太上皇于西蜀。十二月至凤翔，被贼臣李辅国诏外随驾甲仗。上皇曰：「临至王城，何用此物。」悉令收付所由。欲至城。皇帝具仪仗出城迎候。二圣相见泣涕，义之倾城，道俗一时忭舞。便于兴庆宫安置。干元元年冬，上皇幸温泉宫。二十日，却归，因此被贼臣李辅国阴谋不轨，欲令猜阻。更树勋庸，移仗之端，莫不由此。辅国趋驰末品，小子纤人，一承攀附之恩，致位云霄之上。圣上属残孽未殄，苍生不安，贪总军戎，冀清海内。不暇拣择左右，屏弃回邪，遂使辅国荧惑两宫，伤万姓，恣行威福，不惧典刑。上元元年七月，太上皇移仗西内安置，高公窜谪囗州，皆辅国之计也。
上皇在兴庆宫，先留厩马三百匹，欲移仗前一日，辅国矫诏，索所留马，惟留十匹。有司奏陈，上皇谓高公曰：「常用辅国之谋，我儿不得终孝道。明早向北内。」及晓，至北内，皇帝使人起拜云：「两日来疹病不复，亲起拜伏，伏愿且留吃饭。」饭毕，又曰：「伏愿且归南内。」行欲至夹城，忽闻戛戛声。上惊回顾，见辅国领铁骑数百人，便逼近御马。辅国便持御马，高公惊下，争持曰：「纵有他变，须存礼仪，何得惊御？」辅国叱曰：「老翁大不解事，且去！」即斩高公从者一人。高公即拢御马，直至西内安置。自辰及酉，然后老宫婢十数人，将随身衣物至，一时号泣。上皇止之：「皆辅国矫诏之所为也，圣上宁得知之乎？」上皇谓高公曰：「兴庆是吾王地，吾频让与皇帝，皇帝仁孝，不受。今虽为辅国所制，正惬我本怀。进御人令撤肉，便处分尚食。明日已后，不须进肉食。」每月上皇与高公，亲看扫除庭院，芟草木，或讲经论议，转变说话，虽不近文律，终冀悦圣情。经十余日，高公患疟，敕于功臣阁下避疟。日晚闻门外有人问，称是「啖庭瑶」，云：「圣人唤阿翁，问会见太上皇未？」曰：「见了。」高公亦不敢辞，即随庭瑶至阁门外，日晚见内养将一卷文书状云：「使看略见少多，皆是罢职，却被索将附奏。」云：「臣合死已久，圣恩含忍，容至今日，所看事状，并不曾闻。伏愿得亲辞圣颜，然后受戮，死亦无恨。」明日有制：「力士潜通逆党，曲附凶徒，既怀枭獍之心，合就鲸鲵之戮。以其久侍帷幄，颇效勤劳，且舍殊死，可除名长流囗州。」九月三十日，至囗州，随身手力不越十人，所余衣粮才至数月。殷忧待罪，首尾三年。
经一年，忽见本道观察第五国珍谪至夷州，与第五相饮赋诗，曰：「烟熏眼落膜，瘴染面朱虞。」谓同病曰：「宰相犹如此，余何以堪？」左右闻之，皆为挥涕。又于园中见荠菜，土人不解吃，更赋诗曰：「两京秤斤买，五溪无人采，夷夏虽有殊，气味应不改。」使拾之为羹，甚美。或登山临水，以永终日。至元年建辰月，有制：流人一切放还。至建巳月，二圣升遐，今上即位，改元为宝应元年。六月，囗州二圣遗诏到，号天叩地，悲不自胜。制服持丧，礼过常度。每一号恸，数回气绝，昼夜无时，伤感行路，恨不得亲奉陵寝，而使永隔幽明。哀毁既深，哽咽成疾。七月，发山至郎州，八月，病渐亟，谓左右曰：「吾年已七十九，可谓寿矣。官至开府仪同，可谓贵矣。既贵且寿，死何恨焉？所恨者：二圣升遐，攀号不迨，孤魂旅榇飘泊何依。」泣下沾襟，视之尽血，言毕，以宝应元年八月十八日，终于朗州。元寺之西院。远近闻之，莫不伤叹。九月，灵榇发朗州。十一月，至襄州。有诏令后旧官爵追赠广州都督，丧事行李，一切官给，陪葬玄宗陵。
高公所生母麦氏，即隋将铁杖曾孙，始与母别时年十岁。母抚其首泣曰：「与汝分别，再见无时，然汝胸上七黑子，他人云必贵。吾若不死，得重见，记取此言。汝常弄吾臂上双金环，吾亦留看待见，汝伺之，慎勿忘却。」即与诀别，向三十年后，知母在泷州，虽使人迎候，终不敢望见。及到，子母并不相识，母问曰：「与汝别时，记语否？」「胸前有黑子。」母曰：「在否？」即解衣视之，母亦出金环示之，一时号泣，累日不止。上闻，登时召见，封越国夫人，便于养父母家安置，千余年后，卒葬东京原。燕公志墓曰：「验七星于子心，辨双环于母臂。」即此事也。其妻东平吕氏，故歧州刺史玄悟之女，躬行妇道，有逾常礼。大理司直太原郭曰：「李辅国谬承恩宠，窃弄威权，蒙蔽圣聪，恣行凶丑。所持刑宪，皆涉回邪，即有敬毛裴毕之流，起周代索丘之狱，既无所措，难以图存。使天下之心，自然摇矣。但经推案，先没家赀，不死则流，运逾千计。黔中道此一色尤多，则三故相：裴冕、张镐、第五琦是也；一大夫：贺兰进明是也；六中丞：郑叔清、畅灌、韦利见、皇甫锐、张万顷、毛若虚是也；七御史：李融、屈无易、孙昌胤、孙莹、宋晦、严锐、毕曜是也；三员外：张渭、张之绪、李宣是也；一左丞：皇甫铣是也；一郡王：是也；一开府：力士是也。遗、评、补、博、卿、监、司、舍、将军、列卿、州牧、县宰已下，散在诸郡不可尽纪。从至德至宝应，向二千人。及承恩放还，十二三矣。嗟乎！淫刑以逞，谁得无罪？同病者，报以志之，况与高公，俱婴谴累。每接言论，敢不书绅，岂谓怀辅弼之元勋，当休明之圣代。卒为谗佞所恶，生死衔冤，悲夫。」