吕僧珍字元瑜，东平范人，世代居住在广陵。出身贫寒、低贱。还是个孩童的时候，跟随老师学习，有相工历观诸生，指着吕僧珍对博士说：“这孩子出语不凡，将来定有封侯之相。”二十多岁时，依倚宋丹陽尹刘秉，刘秉被诛后，侍奉太祖文皇为门下书佐。身高约七尺五寸，形貌很是伟岸。在同龄人中很少有轻慢的举动，同辈人都敬仰他。
太祖任豫州刺史，任他为典..，带蒙令，居官称职。太祖迁领军，补主簿。妖贼唐蠫进犯东陽，太祖率众往东讨伐，让吕僧珍知行军众局事。吕僧珍家在建陽门东，从接受使命赴任，每天路过建陽门，不经过自家，太祖因此更加了解他。任丹陽尹，复任命为郡督邮。齐随王子隆出任荆州刺史，齐武帝任吕僧珍为子隆的防..，跟随他镇守。永明九年(491)，雍州刺史王奂谋反，皇上下诏派遣吕僧珍隶平北将军曹虎，西为典..，带新城令。魏军进犯沔北，司空陈显达出讨，一见很是惊异，就撇开旁人，让他坐上座，劝他说：“爱卿有富贵之相，精神当不减往日，努力去成就一番事业。”
建武二年(495)，魏大举南侵，分五路齐头并进。高祖率师增援义陽，吕僧珍跟随在军阵中。长沙宣武王当时任梁州刺史，魏包围守卫数月，由于不通信息，义陽与雍州失去联系。高祖打算派遣使者到襄陽去，求梁州问，大家都害怕，不敢前往。吕僧珍坚决请求充任使者，当天乘单舸上路。到达襄陽后，督遣援军，并得到宣武王的亲笔信返回，高祖很是嘉奖他。事态平静下来，补羽林监。
东昏即位，司空徐孝嗣掌管朝政，打算和他共事，吕僧珍揣摩并非长久之道，最终没有前往就职。当时高祖已经统辖了雍州，吕僧珍坚决请求西行回家，得补..令。到达当地后，高祖任命他为中兵参军，委以重任。吕僧珍暗里培养敢死之士，归附他的人很多。高祖广招武士，士庶响应，跟随、会聚起来的有一万多人。就下令巡行城西空地，准备建造几千间房屋，当作营房，多多砍伐木材和竹子，沉浸到檀溪里，聚积的茅盖像山阜一样，都没有使用它们。只有吕僧珍领悟到了此举的要旨，也私自准备了几百张橹。义兵起事，高祖深夜召集吕僧珍和张弘策商讨对策，决定明天早晨就集合大军出征，全部捞上沉浸在檀溪里的木材和竹子，做成舟娄舟监，用茅草修缮它们，立即动手去做。大军就要出发，诸将果真争着抢橹，吕僧珍于是取出先前准备好的橹，每船交给二张，争橹的人们才不争抢了。
高祖任吕僧珍为辅国将军、步兵校尉，出入卧内，宣通意旨。兵到郢城，吕僧珍率部属驻扎在偃月垒，不久又进据骑城。郢州平定，高祖进吕僧珍为前锋大将军。大军驻扎在江宁，高祖让吕僧珍和王茂率精锐部队先行登上赤鼻逻。那天，东昏帅李居士与大军前来作战，吕僧珍狠狠攻击，大破敌军。于是和王茂一起进军到白板修筑堡垒，堡垒做好了，王茂移驻越城，吕僧珍仍然防守白板。李居士通过侦察了解到对方兵力少，率精兵一万人，径直前来攻城。吕僧珍对将士说：“现今我方力量既然不能匹敌，不能和他们展开战斗，也不要远射，必须呆在堑壕里，当全力攻破他们！”不久都越过堑壕，拔掉栅栏，吕僧珍分派士兵上城，箭和石头一齐发射，自己率马步三百人斩断敌后，守隅的士兵也越城而下，内外夹击，李居士立即奔逃四散，缴获的武器、胄甲不计其数。吕僧珍又进据越城。东昏大将王珍国列车为营，背淮布阵。王茂等大军发动攻击，吕僧珍放纵燃火的车焚烧敌人的营地。敌人当天土崩瓦解。
建康城平定下来，高祖令吕僧珍率部先行进城清宫，和张弘策一道封检府库，当天以本官带南彭城太守，调任给事黄门侍郎，领虎贲中郎将。高祖即位，任他为冠军将军、前军司马，封为平固县侯，食邑一千二百户。不久调给事中、右卫将军。不久，转左卫将军，加散骑常侍，入直秘书省，统管宿卫。天监四年(505)冬，大举北伐，从此军机之事日渐增多，吕僧珍白天在中书省办公，夜里返回秘书省。天监五年(506)夏，又任命吕僧珍率领羽林精兵出梁城。这年冬天回军，以本官领太子中庶子。
吕僧珍离家既久，上奏请求拜墓，高祖意欲使他荣耀，让他治理本州，于是授使持节、平北将军、南兖州刺史。吕僧珍在位期间，公平对待属下，不徇私情。堂兄的儿子起先以贩葱为业，吕僧珍任职后，于是放弃贩葱业，想求他做个州官。吕僧珍说：“我蒙受国家的大恩，没有什么可以用来作为报答的，你自然有你的天分，怎么可以作出此等非分之想，还不赶快回到葱肆去！”吕僧珍老家在市北，前面建有督邮的官署，乡人都劝他迁移官署来扩大住宅。吕僧珍发怒道：“督邮是官署，从建造以来就一直在这里，怎么可以迁走它，来扩大我的私宅呢？”姐姐嫁给于氏，住在市西，小屋面临马路，杂处于诸肆之中，吕僧珍经常带着卤簿到她家里，并不以为耻辱。任期一百天，征召为领军将军，不久加散骑常侍，给鼓吹一部，像先前那样在秘书省办公。
吕僧珍功勋卓著，颇受重用，恩遇隆密，没有能和他相比的。性格很是谦恭、谨慎，在禁中值班，盛夏不敢解开衣扣。每当侍奉御座，屏气鞠躬，吃水果未曾动过筷子。曾因酒醉，才拿了一只柑子吃了。高祖笑着对他说：“真是大有进步。”除俸禄外，每月给他十万钱，其他的赏赐则时时不绝。
天监十年(511)，患重病，御驾亲临，并派人治疗，一天之中有数次。吕僧珍对亲友故旧说：“我起先在蒙县，得了热病，肌肤发黄，当时我想这病一定没治了，可皇上对我说：‘爱卿有富贵之相，一定不会死去，不久就会自行好转的。’不久果真痊愈。现在已经富贵了，而肌肤发黄，所得的病苞先前一样，一定没有治了。”最终真像他说的那样，死于领军府舍里，时年五十八岁。高祖当天亲临赴丧，下诏：“思旧笃终，前王令典；追荣加等，历代通规。散骑常侍、领军将军、平固县开国侯吕僧珍，胸怀远大，见识广博，竭忠尽礼，知无不为。与朕契阔，情兼屯泰。大业初成，功勋卓著。负责禁卫，早晚尽诚。方参任台槐，式隆朝寄；突然去世，心中伤恸。当加优典，以隆宠命。可赠骠骑将军、开府仪同三司，常侍、鼓吹、侯仍旧。供给东园秘器、朝服一具、衣一袭，丧事所须物品，按需备办。追谥为‘忠敬侯’。”高祖沉痛惋惜他，说着说着就泪流满面。长子吕峻早死，吕峻的儿子吕淡继承其业。