源延之弟源思礼，后赐名为怀，为人谦恭宽雅，有大度。高宗在位末年，源怀任侍御中散。父亲源贺告老辞去官爵，皇帝令源怀承袭父亲的爵位，授任他为征南将军。不久任持节、督诸军，屯驻在大沙漠之南。源怀还朝，被授予殿中尚书之职，出任长安镇将、雍州刺史。源怀为官清廉而有好的政绩，善于抚恤百姓，所任之处盗贼止息，流民全都相继还家。一年多以后，源怀再次被授任为殿中尚书，加授侍中，参与都曹事。源怀又督率诸军征讨蠕蠕，六路大将都受他的节制调度。后迁任尚书令，参加议定朝廷法律命令。后来按例降爵位为公。任司州刺史。源怀跟从皇帝南征，加授为卫大将军，负责中军事务。源怀由于为母亲服丧而辞去官职。皇帝赐给他帛三百匹、谷一千石。太和十九年(495)，源怀被授予征北大将军、夏州刺史之职，转任都督雍岐东秦三州诸军事、征西大将军、雍州刺史。
景明二年(501)，源怀被召回朝任尚书左仆射，加赐为特进。当时皇帝有令，由于奸邪的官吏犯了罪以后，每每有许多人逃遁而未被追究，这些人有了过失就逃走，都感到怡然自得。从今以后，凡是犯罪的人不问其罪行轻重，只要是藏匿逃窜者全部流放到边远之地。如果长期躲避不出来，就让他的兄弟代替他远徙。源怀于是向皇帝上表启奏说：“按照朝廷的条令制度：犯罪而逃跑的吏员不在赦免之列。我私下考虑圣上的恩德，此事同先前宽宥的政策有所不同，过去许多被流放还在半路的人，尚且能获赦免而得以回还，何况有的人并未犯罪，还要把他们遣徙到边戍吗？查地方官犯罪，逃走的人甚多，他们俸禄已经十分优厚，尚且还有这种过失，及至他们蒙受恩宥，忽然又得以返还。如今惟独苦了一般的吏员，恐怕不是平等之法。如果让我掌管此事，我以为应当宽免他们。”书表呈上以后，门下省认为现行条令已经颁布，就把他所奏之事驳回不予准许。源怀又重新上奏说：“臣以为朝廷法令贵在执行通畅，治政崇尚简明切要，设立刑罚之法，目的在于惩治犯罪之人。假若符合道理，法令就不在乎是否繁多；执行法令可以通畅，岂能容允制度的严苛。这就是古今的达政，济世之常规。我考察现行的条例制度，被授予勋品以下的人，因犯罪被揭发而逃亡的，一律不予宽宥，还要流放他们的妻儿。这虽然是想要抑制和阻绝奸邪之路，但这不是通用的法式。我又查寻条例规定，违犯职守的败坏法纪的，专门惩办九品官以下的人，难道九品以上的官员，人人都坚贞清白吗？各州郡的地方官，一般都清廉有威望，至于有贪婪污浊的人，因事实被揭发而逃窜，但遇到恩赦可以免罪。勋品以下的官员，独独与这种规定不一致。像这样做，就是宽待纵容九品以上的官员，而严责品位以外的吏员，使得对官吏的培育安抚有差别，恩惠与惩罚不均等。又有图谋叛逆罪恶滔天的人，遇到恩宥尚且可以免罪，而吏员犯了轻微的罪过，独独不受到赦免，致使大赦之法不能通行，开生之路受到阻塞，上违古代典宪，下悖现时法律，依臣之愚见，认为应当停止。”书表奏上以后，世宗采纳了他的意见。
这一年，源怀被任命为车骑大将军、凉州大中正。源怀向皇帝上书说：“南方贼寇游弋于长江、扬子江，经常挑起战乱，骄奢婬逸之风日益滋长。其贵臣重将，所剩无几，崇信奸佞之徒，亲昵yan宦之人，内外离心离德，骨肉猜忌叛逆。萧宝融在荆郢僭位，其雍州刺史萧衍率军向东攻袭，上游的军队已逼近其京城郊野。广陵、京口守将各自持兵而两边观望，钟离、淮陰一带相互鼎峙而静观得失。秣陵孤立危急，闭门不出。江南的君子小人，全都遭受灾祸，翘首北望，朝不保夕。这实在是上天赐予的大好时机，实行吞并的难得机遇。我朝可以乘其萧墙之衅，借其分崩之机，发兵向东占据历陽，兼程指向瓜步，沿长江镇戍，直达于荆郢。然后振奋我军雷电之威，广布我朝山河之信，那么长江西面之地，不用兵就自会来降，吴会一带地方，指日可以占领。昔日王士治曾经说过，孙皓倘若暴死，另外拥立贤主，其文武之官，各得其任，就会是我们的劲敌。如果萧衍举事成功，其上下同心一致，那么非但我朝今后图谋很难，而且会使我扬州境内受到危逼。为什么这样说呢？寿春距离建邺，只七百里地而已，那一带的山川水陆，萧衍都十分熟悉。倘若江南没有风波，其君臣效力尽职，借水凭舟，转眼而至，寿春都不能自保，对江南又能怎样呢？如今萧宝卷政权有土崩瓦解之势，其边城无援军救助，扫荡长江地区，的确就在今日。臣蒙受皇上深重的恩幸，以上想法不敢不照直陈述。”世宗下诏说：“不君不臣，是江南的常弊，有粟不食，那也就在于此。上天将要消亡它，诸臣又愿攻取它，人事天道都顺应，谁说不是大好时机？而且养虎遗患，是仁者所不为。况且十月五日，萧衍军已从水路大举进攻，江南大伤小亡之势，久来应有所定。假使上天惩罚萧宝卷，萧衍获胜，那么萧衍主佐江南，必然又是乱亡遗孽，皇灵怎能长久保..他呢？如今朕所倚仗的，正是由于南方百姓企望圣德，边地书信相继而至，对于痛苦劳悴的百姓，理应救助接济。如果像这样做，扬州的兵力，已经配积不少，只需速速派任城王元澄，委付他进行处置，另外加以慰勉，令其筹划边地战事的计策。”后来由于萧衍举事成功，就将此事停止下来。
源怀又上表说：“昔日世祖仙逝，南安王在位，出外祭拜东庙，被贼臣宗爱所弑。当时高宗避难，潜藏在园苑之中，宗爱图谋不轨，皇位尚未确立。臣之亡父先臣源贺与长孙渴侯、陆丽等人迎立高宗，继承皇位。陆丽由于怀抱高宗入宫，为高宗所亲近和赏识，被封抚军大将军、司徒公、平原王。兴安二年(453)，朝廷追论定策之功，进封先父爵位为西平王。皇兴末年(471)，显祖准备传皇位给京兆王。先父当时都督诸将，屯驻在武川，被征召到京师，特地向他征询意见。先父坚持认为不可，显祖许久才同意他的意见。就令先父持节将皇帝玺绶授予高祖。到了太和十六年(492)，陆丽之子陆睿呈状于秘书省，说他的亡父与先父迎立高宗，朝廷追记其功，封陆睿为巨鹿郡开国公。臣当时回乡为母亲守丧，未能依例受封。到了太和二十年(496)，授任臣为雍州刺史，在出发之时，面奏先帝，申述先父往日的功勋。当时皇帝命臣暂且赴任，不久当另有裁断。及至二十一年，高祖驾幸雍州，臣又向皇帝陈说，当时蒙圣上敕旨，说待将臣召回朝廷后定当封授。自从高祖晏驾之后，就再未提及此事。臣私下考虑先父在远曾迎立高宗，使大魏江山不坠；在近则效力于显祖，使社稷有归。像这样的功勋，超出当世。陆睿凭他父亲之功而获得河山之赏，臣有家勋，却未沾茅土之赐。得失悬殊，请圣上予以裁断处理。”皇帝下诏说：“朝廷老前辈元丕，所说的情况与你申述的一样，访之于史官，其言大体也是如此。可依例授爵为冯翊郡开国公，食邑九百户。”
皇帝又令源怀任使持节，加授侍中、行台之职，巡行北部边境六镇、恒燕朔三州，赈济贫乏，兼采风俗，考论官员政绩名次，所有事情的得失，都由他先行决断然后上奏。自从京都迁到洛陽，北方边地遥远，加之连年大旱，百姓贫困不堪。源怀奉命巡行安抚，赈济有方，及时转运，通济有无。当时皇后的父亲于劲势倾朝野，于劲之兄于祚与源怀原先就有婚姻之亲，当时任沃野镇将，颇多受贿之事。源怀将要巡行到他的镇所，于祚出城在道旁迎接，源怀根本不同他说话，即刻弹劾于祚并免去他的官职。怀朔镇将元尼须是源怀年轻时的好友，也多有贪污受贿之事，他置酒宴请源怀，对源怀说：“我的生命是长是短，全在于你一句话，难道不能对我给以宽待吗？”源怀说道：“今天的聚会，乃是源怀与故友饮酒之处，而不是判断案情之所。明天到公庭之上，才是令人检举镇将罪状的地方。”元尼须无言以对，惟有流泪而已。源怀不久就上表弹劾元尼须。他奉公不屈，都皆如此类。
源怀又向世宗上表说：“自景明以来，北方边地连年遭受旱灾，高原陆地，不适于经营养殖，只有少量水田，尚可耕耘。然而各镇主将和幕僚，擅自占有丰腴的田地，把贫瘠荒芜的土地给予百姓，百姓因此而困敝不堪，这种现象日益严重。特请求将各镇的水田，就地分给普通百姓，先贫后富进行分配。若因分配不公平，有一人怨愤而上诉者，镇将以下连署之官，每人扣去一季的俸禄，有四人以上上诉的各扣去俸禄一年。北方边镇，事情与内地不同，往日设置官职，完全没有差别。单就沃野一镇而言，从镇将以下达八百余人，黎民百姓怨声载道，都说官员繁冗。边地事情不多，确实少于京城地区，请求将各镇主帅的属员减去五分之二。”皇帝下诏说：“你的奏表具有抚恤百姓之心，已敕令有司全部依允所奏之事，下达施行作为永久的标准。像这类不能使百姓得益，有损教化伤害政事的现象，你可全部列举上报朝廷。”当时百姓被豪强欺凌压制，多年来积累的冤情太多，一时间前来申诉的，一天就有上百人。源怀对有利于北方边地的事，所收集上报朝廷的，共有四十余条，都被嘉奖和采纳。
正始元年(504)九月，有边报说蠕蠕部将率十二万骑兵六路并进，想要直趋沃野、怀朔，南侵恒州、代州。世宗下诏命令源怀以本官加授使持节、侍中，出朝据守北部边地，指授方略，征发士卒，各种所应处置之事，都凭源怀随时应变、见机行事。又诏令源怀之子直寝源徽跟随源怀北行。诏赐马一匹、细铠一具、御槊一枝。源怀拜受完毕，就在他家的前庭跨鞍持槊，跃马大呼，环顾前来送行的宾客说道：“我气力虽已衰弱，还是能够像这样出征。蠕蠕人畏壮轻老，我也未必就可以欺侮。今日承奉朝廷的作战方略，总领骁悍之众，足以生擒其部族主帅，献俘于朝廷宫阙之下。”时年六十一岁。源怀一到云中，蠕蠕人闻风逃遁。
源怀随即到达恒、代二州，巡视各镇左右要害之地，确定可以筑城置戍之处。一处一地测量其戍城的高低，计算其城墙的厚薄，考察其储存粮草兵器的方便，犬牙交错相互救援的形势，一共表奏五十八条。表章说：“蠕蠕人不受辖制，自古至今都如此。四处游牧如鸟集散，择水草之地为家，中国深以为患者，都是这类部族。历代君王想要驱除它，都没有能够制服。虽然北边拓展到榆中，再远到达大沙漠，但历代智臣勇将，也都竭尽其力量和谋算，胡人虽屡次逃遁，中国却因此而疲惫不堪。当时的先哲们，思考自然万物之至理，推广百姓所熟悉的生业。比较中原的粒食邑居之民、蚕衣儒步之士，与边远的茹毛饮血之类、鸟宿禽居之徒，亲自衡量其短长，因此制定适当的防备策略。知道修筑坚固的城郭，可以一劳而永逸。自从皇魏统一中国，建都于平城，威震天下，德冠宇宙。现在定都于洛陽，离北地遥远。代州上表说北地边防巩固，高车族在外反叛，随即遭受旱灾，戎马甲兵，十分缺少八分。臣去年再次镇守陰山，排除繁杂的事务，派尚书郎中韩贞、宋世量等考察各处险要，了解便于防守的地形。以原有镇所东西相望为标准，使地势互相连接，于其中筑城置戍，分兵把守要害，平时劝农积粟，战时随时出兵征讨。这样就做到了增广有利的地形，军队气势也更加强盛。而且北方沙漠之地，夏季缺乏水草，有时虽有少量泉水，也无济于大众。倘若胡人有非分之意，也要等到秋冬之际，因气候有利才敢行动。如果到了冬天，到处冰沙凝冻，北边游骑之寇，终究不敢来攻城，也不敢越过戍城南下，这样一来北方就没有忧患了。”世宗听从了他的建议。现今北方边镇东西九座戍城就是那时构筑的。源怀迁任骠骑大将军。
当时武兴氐王杨绍先的叔父杨集起反叛朝廷，皇帝令源怀任使持节、侍中、都督平氐诸军事，率兵进行征讨，所有兴废之事，由他见机行事全权处理。邢峦、李焕一同奉命受他节度。正始三年(506)六月，源怀去世，终年六十三岁。世宗诏令赐给他东园制造的棺木、朝服一套、衣一件、钱二十万、布七百匹、蜡三百斤，追赠他为司徒、冀州刺史。兼吏部尚书卢昶上奏皇帝说：“太常寺给源怀议定谥号说，源怀一生崇尚宽柔，气质操守正直，依照定谥号之法，以宽柔正直而善终曰‘靖’，应定谥号为靖公。司徒府的议论则说，源怀在陕西任地方长官，使百姓得到恩惠教化，在朝廷任尚书令，百官称他有仁义，按照谥法规定，布德执义曰‘穆’，应当谥为穆公。两者所定的谥号不相同。”皇帝下诏说：“司徒府和太常寺所持的意见，并不十分得当，爱民好施曰‘惠’，可以谥为惠公。”
源怀性情宽容简约，不喜欢繁复琐碎，他经常对别人说：“作为一个朝廷命官，治理世务应当提纲举要，何必过于仔细呢。就好比做房子，只要外观高峻，梁柱平正，基墙牢固，风雨不入，就很好了。至于刀斧痕迹不平整，砍削不细密，这不是房屋的毛病。”源怀生性不爱饮酒，但喜欢以酒待人，乐于结交朋友，擅长音律，虽然在白发之年，每逢安逸闲暇的时候，常常自己抚弄丝竹。源怀共有七个儿子。