房玄龄字乔，齐州临淄县人。父亲房彦谦，出仕隋朝，历任司隶刺史。玄龄幼时机警敏捷，贯通经籍，善于写作文章，书法兼通草隶。开皇年间，天下统一，人人都认为隋朝将会长治久安，玄龄暗自告知其父说：“皇上本无功德，仅以周室近亲，妄自诛杀大臣，攘夺神器而据有，又不为子孙建立长久之计，混淆嫡庶之位，竞崇奢侈之俗，相互倾陷，最终必会内部自相诛灭。如今天下虽然太平，但其灭亡可翘足而待啊！”彦谦大惊说：“不要胡说！”十八岁时，应举于进士科。
授职羽骑尉，校雠秘书省。吏部侍郎高孝基号为知人，谓裴矩说：“我观察过的人可谓多矣，没见过如此郎的，今后必成国之伟器，只恨不能早见其耸立云霄啊！”后来补任隰城县尉。汉王杨谅造反，玄龄受牵连坐罪，被谪徙于上郡。见中原将乱，慨然而有忧天下之志向。其后父亲卧病，历时十旬，玄龄衣不解带尽心服侍；去世后，酌饮不入口达五天之久。
太宗以敦煌公身份率兵巡行渭北，玄龄杖策拜见于军门，太宗一见如故，署任为渭北道行军记室参军。敦煌公封为秦王后，随即授玄龄职为王府记室，封为临淄侯。每逢征伐不曾不随行同往，众人争先收取珍怪之物，玄龄却先收罗人物致之幕府，并与诸将暗相深结，人人都尽死效力。秦王曾说“：汉光武帝自得邓禹之后，门人更加相亲相近，自从我有了玄龄，就像光武有了邓禹一样。”居于王府出入十年，下达军符府檄，有时驻马立成，文字简约道理详尽，并不需要先打草稿。高祖说：“这人深识机宜，应当委以重任。每次为我儿陈述事情，千里之外如同对面讲话一样。”
隐太子与秦王嫌隙既成，秦王召玄龄商议。玄龄回答说：“国家患难，何世不有，惟有圣人能平祸乱。大王功盖天下，非仅凭借人谋，神明也将相助。”便引荐杜如晦同谋大计。历任陕东道大行台考功郎中、文学馆学士。由此隐太子忌恨房、杜二人，进谮言于高祖面前，将他们二人斥逐还家。太子将起事图变，秦王征召二人穿上方士服装潜入王府，深夜议事。事平之后，秦王成为皇太子，玄龄升任太子右庶子。太子即位后，任职中书令。序功封赏，与杜如晦、长孙无忌、尉迟敬德、侯君集功居第一，晋爵为干阝国公，赐予食邑一千三百户，其余人员全都依次封赏官爵。太宗对群臣说“：我根据各位功绩，量定封爵食邑，恐不尽能妥当，不必忌讳，各位都可说给我听。”淮安王李神通说：“义军初起时，臣领兵最先到达，如今玄龄等人以刀笔之吏功居第一，臣不明何故？”太宗说：“叔父兵马确实先到，但未曾亲历行阵。以致建德南侵，全军大败不振，讨伐黑闼反叛之贼，竟然望风崩溃。如今房玄龄等人有决胜于帷幄及安定国家之功，如同汉代萧何论功行赏要先于诸将一样。叔父于国至亲，应当无所偏私，而不能缘私情以与功臣竞争先后次序了。”起初，将军丘师利等人全都自居其功，有的人还指天画地，自陈其劳，见神通羞愧理屈，便说：“陛下以至公之心论功行赏，不偏心照顾其亲属，我们怎能妄诉功劳呢？”
后来晋升为尚书左仆射，监修国史，改封为魏国公。太宗说：“您为仆射，应当辅助我增广耳目，搜访贤才。近来闻知您审阅牒讼每天达数百件，哪有闲暇访求人才呢？”便命玄龄将细务交给左右丞处理，大事才由仆射过目。
太宗曾问群臣说“：创业与守成哪一样难些？”玄龄回答说：“起兵时天下大乱，群雄竞逐，攻破之后方才归降，战胜之后才能夺取，因此创业为难。”魏征回答说“：王者兴起，必乘衰乱之世，推翻昏暴之君，实为顺天应人之事。既取天下之后，则安习于骄奢淫逸，人心想静，兴起徭役加以动摇；世道出现流弊，更为搜括加以逼迫。国家因此缘故而衰败，所以说守成为难。”太宗说“：玄龄跟随我平定天下，身经百死，而逢一生，故知创业之难。魏征与我安抚天下，害怕因富贵而生骄盈。骄盈就会怠慢政事，怠慢政事就会导致灭亡，故见守成之为不易。
不过创业之不易，已成往事；守成之难，正要与各位慎重对待。”
后逢下诏大臣世袭，授职为宋州刺史，徙封为梁国公，因群臣辞让世袭之事，便免除其世袭刺史，而受封为梁国公。不久，加衔为太子少师。初次前往东宫，皇太子想行拜礼，玄龄推让而不敢见，方才作罢。居宰相之位达十五年之久，女为韩王之妃，男娶高阳公主为妻，自认为权力恩宠到达极点，多次上表请求辞职。诏书不准。不久，进衔为司空，照旧总揽朝政。玄龄一再推辞，太宗派遣使者对他说“：让位确实是美德。但国家靠您辅治已久，一旦失去良佐，如同失去左膀右臂。您看起来筋力未衰，不要谦让了！”晋王成为皇太子后，加衔为太子太傅，仍为知门下省事。因母丧，赐予墓地于昭陵。不久就起复官职。太宗将伐辽东，命玄龄留守京师。下诏说：“有您担当萧何的责任，我就没有西顾之忧了。”但凡粮草器械的调集输送，部队的调动留止，全听玄龄总揽。玄龄多次上书劝谏太宗，希望不要轻敌深入，长久讨伐外夷。并一再辞让太子太傅之职，太宗接受其辞职要求。
晚年多病，那时太宗出巡玉华宫，下诏玄龄留守京师，听其卧床治事。病情加重后，征召他赴宫所乘轿入殿，太宗对着他流泪，玄龄也因感动咽哽而不能自禁。太宗命令尚医负责治疗，尚食供应膳食，每天上奏起居情况。稍有起色，太宗就喜形于色。玄龄便对诸子说“：当今天下之事无不得宜，惟有讨伐高丽不止，皇上含怒意决，群臣无人敢谏，我如知而不言，就会抱愧入地了！”便上疏说：“上古不能臣服者，陛下都能使之臣服；上古不能控制者，陛下都能控制他们。作为中国祸患没有谁比得过突厥，而大小可汗依次束手归降，弛辫握刀，分掌禁卫。薛延陀、铁勒之地，分别设置州县；高昌、吐谷浑，派出偏师迅即扫灭。
惟高丽历代不服朝命，莫能尽力讨伐。
陛下责其弑逆虐乱，亲自率领六军，往征荒远边地，不出旬月就攻拔辽东，俘虏数十万人，残众、孽君失气而不敢喘息，可称得上功倍前世了。
“《周易》说：‘知道进退存亡能不失其正的，大概只有圣人啊！’因为进有退之义，存有亡之机，得有失之理，我为陛下可惜的就是这啊。老子说过‘：知足就不会受侮辱，知止就不会出危险。’陛下的威名功德，已足足有余；拓地开疆，也应适可而止了。边夷贱类，不足以仁德相待，以常礼相责，古时视同禽鱼。如果定要绝其种类，恐怕兽穷则搏，以救其死难。何况陛下每逢判决死刑案件，必定三复审五重奏，处决之日，进用素食，停奏音乐，这是因人命之重，使陛下为之感动。如今战士无一死罪，而将他们驱至战阵之间，委于锋刃之下，使其肝脑涂地，令其老父孤儿、寡妻慈母望丧车而抱枯骨，摧心痛哭，以致变动阴阳、伤害和气，实为天下的冤痛啊！如果高丽违失臣节，陛下诛之是应该的；如果高丽侵扰百姓，陛下灭之也是应该的；如果高丽能成为后世的祸患，陛下除之也有理由。
如无此三条，而为此事坐耗中国，为前朝帝王雪耻，为新罗代报其仇，岂不是所存者小，所损者大吗？臣愿陛下颁布宽大之诏，允许高丽改过自新，焚毁凌波之船，罢免应募之众，则臣死且不朽。”
太宗接到表疏，对其儿媳高阳公主说“：此人生命垂危还在为我国事担忧啊！”
后来病情加剧，太宗命令凿通苑墙开门以便遣使问候。还亲临其家握手诀别。下诏皇太子前往看望，提升其子遗爱为右卫中将军，遗则为朝散大夫，让他能在生前见到其子通显。不久即逝世，时年七十一岁，赠予太尉、并州都督，谥为文昭，给予班剑、羽葆、鼓吹，赐予其家绢布二千匹、粮食二千斛，陪葬于昭陵。
高宗即位后，下诏配享于太宗庙廷。
玄龄执掌国政时，夙兴夜寐，恭勤自强，一心为公，尽心竭力，不愿使一物失所。他为人无嫉妒之心，闻人有善，如同己有。熟悉精通吏事，而以文雅加以修饰，审议规定法令，其意务为宽平。不以己之所长要求别人，任用人才不求全责备，虽卑贱之人也能尽其所能。有时因事受责，必叩头请罪，谨慎畏惧，就像无地自容一样。
贞元末年，因受谴责免职还家，黄门侍郎褚遂良上疏于太宗说“：玄龄侍奉皇上未犯大过，不应因一点小错就斥逐于外，这不是天子任用大臣应有的态度。”
太宗明白过来，马上征召玄龄于家。玄龄后来避位不出。过了一段时间，太宗出巡芙蓉园观察风俗，玄龄便命其家子弟洒扫庭院，说：“车驾将要临幸。”不一会儿，太宗果然临幸其家，于是与玄龄一道还宫。太宗在翠微宫时，任命司农卿李纬为民部尚书，恰遇有从京师来的官员，太宗问：“玄龄闻知李纬任职尚书说些什么？”回答说：“仅称李纬好胡须，没说别的话。”太宗马上将他改任为太子詹事。太宗征讨辽东时，玄龄留守京师，有一名男子上告急变，玄龄讯问其事，他说“：我要告发的就是您啊。”玄龄遣使驰驿追赶太宗，太宗阅视其奏完毕，下令斩决这名男子。下诏责备玄龄说“：您何必这么不自信呢？”其托付信任大多如此。
玄龄治家有法度，常常担心诸子骄奢淫侈，凭借势位欺凌旁人，因而汇集古今圣贤家戒，书写于屏风之上，命其子各取一具，对他们说：“留意于此，就能保其身了！汉代袁氏累世忠诚节义，为我心所崇尚，你们应当效法。”逝世后其子遗直承袭其爵位。
次子遗爱，欺诈轻率而无学问，勇武有力。娶太宗之女高阳公主为妻，任职为右卫将军。高阳公主为太宗所爱，故其礼遇与其他公主之婿绝异。公主骄横，嫉妒遗直为嫡子袭爵，遗直恐惧，上表请求让爵，太宗不同意。公主后来渐渐失去太宗的宠爱，其意怏怏不满。与僧人辩机乱，太宗大怒，斩决僧人，杀死奴婢数十人，公主心中怨恨不已，太宗逝世时，其哭声不哀。高宗时，外派遗直为汴州刺史，遗爱为房州刺史。高阳公主又诬陷遗直有罪，高宗命令长孙无忌审理此案，由此而知公主与遗爱谋反之事，结果遗爱被诛杀，公主被赐予自尽。遗直因先勋缘故免坐死罪，而被贬谪为铜陵县尉。下诏停止玄龄的配享。