程元振以宦官身份在内侍省任职，累功迁升到内射生使。宝应末(762)，肃宗去世，张皇后与太子有怨恨，恐怕他不依附自己，便召引越王李亻系代为处理国政。元振知道这一谋划后，秘密地告诉了李辅国，于是挟持太子，杀了越王和他的同党。代宗即位，元振以功授官飞龙副使、右监门将军、上柱国，主持内侍省的事务。不久代替李辅国兼任元帅行军司马，专门节制禁兵，加官镇军大将军、右监门卫大将军，封爵保定县侯，充任宝应军使。九月，加官骠骑大将军，封爵..国公，追赠他的父亲程元贞司空官职，追赠他母亲郄氏为赵国夫人。这时程元振的权势，超过了李辅国，军队中称他为“十郎”。程元振曾有事私下嘱托襄阳节度使来王真，来王真没有答应。到元振大权在握时，便征召来王真进京朝见。来王真拖延着迟迟未去。广德元年(763)，来王真大破裴茂，便进京拜见皇上，授官兵部尚书。程元振想报私怨之仇，诬告来王真有罪，来王真最终被牵累杀头。辅政大臣裴冕为肃宗的山陵使，曾有事与元振违拗过，便告发他属下小官贪污罪行，把裴冕贬为施州刺史。来王真为一代名将，裴冕是国家元勋，这两个被诬陷后，天下各掌一方兵权的长官人心离散，程元振仍骄傲放纵，自鸣得意，完全不顾众人的议论。

九月，吐蕃、党项侵犯京畿地区，颁布诏书征兵，各道却始终没有人前去应征。十月，吐蕃的军队到达咸阳桥，代宗仓皇出逃巡幸陕州，敌寇攻陷京城，府库被抢劫一空。到代宗到达行都时，太常博士柳伉上书直言极谏应当杀程元振以谢天下之人。代宗担忧人心归罪，便罢免了元振的官职，将他放逐归田，他的家乡在三原县(今属陕西)。

十二月，代宗车驾回到京城，程元振披麻戴孝地坐在车子里，混入京城，以谋划再度任职进用。他与御史大夫王升一块饮酒，被御史台所弹劾。所颁诏书写道：

“杂乱地站在一起聚众交谈，法令尚且不容许，狼狈为奸秘密计谋，比相互交谈处罚更应从重，如此所作所为，情形实难原谅。程元振性情凶残暴戾，秉赋庸俗愚蠢，渺小之人，虽万死不足以塞责。近来本已对严厉的刑法有所放宽，念他有过功劳，枉法以表示恩顾，将他放逐归田。却仍不知约束自己的言行、私欲，还不知道自己的过错，既忘了恩顾的仁厚，又另怀非分的冀望。竟敢召集众人，还想有所动作。不听令的臣子一道窥伺时机，妄谈善恶吉凶，仍然心怀不满。捆绑包裹起兵器铠甲，换了衣服暗中行动，毫不顾及君臣之亲，准备图谋不轨。经审查检验都是如此，无法逃脱刑罚，首足异门而出，也不能塞责。然朕仍不能忘他的微劳，再次饶恕罪人。特免除砍头的刑罚，把他流放到荒远的地方以正法典。可长期流放溱州为百姓，委托京兆府派人押送递解，所路过的各州县，派人接应援助，一直押抵目的地，不许乱跑，即使有不同寻常的大赦，他也不在集中恩赦之列。一切官吏百姓应体察朕的心意。”