李彦仙字少严，初名孝忠，宁州彭原人，迁到巩州。心有大志，所结交的都是豪侠之士。闲时骑马射箭。他家住在近边地的地方，每次出来必定暗地观察山川形势，或者窥视敌人放牧，抢取敌人的好马回去。他曾经为种师中的部曲，进入云中郡，斩获敌人首级，补为校尉。靖康元年(1126)，金人进犯边境，郡县召募军队起兵救护朝廷，彦仙于是率领士兵应募，补承节郎。李纲宣抚两河，彦仙上书说李纲不懂得用兵，恐怕误国。奏书传到朝廷，下令官吏追捕彦仙，于是彦仙逃走，改名彦仙。以效用的身份随从河东部队，谍报金人北还，又补校尉。
河东陷落，彦仙急速返回，道出陕西，以兵事拜见守臣李弥大，李弥大与他谈话，认为他雄壮，留他担任副将，戍守..、渑二州之间。金人再次进犯汴京，永兴军主帅范致虚会合西兵入援，彦仙阻止他说“：..、渑道路险隘难以大规模进兵，不如分兵前进，留一半军队在陕西，可以作为以后的图谋。”范致虚对他沮丧众人感到愤怒，罢免了他的官职并遣走。军队到千秋镇，果然失败，官吏都逃遁。
当时彦仙任石壕县尉，坚守三觜，百姓争相依附于他。他下令说“：县尉与本县人不同，不像你们家室、祖坟都在这里，今天县尉替你们守卫，如果不尽力，那么金人将会在街市上把你们的尸体示众。”大家都奋勇争先。金人攻打三觜，彦仙假装战败，金人追击，彦仙埋伏出击，掩杀金人数以千计，分兵四面出击，攻下五十多座营垒。
开始，金人得到陕州，任用投降的人守卫，使他召集流亡，彦仙暗地派士兵置身其间，金人没有觉察。于是引兵攻打金人的南外城，晚上军队暗中迫近东北角，金人招纳的士兵做内应，喧哗而进，收复陕州。彦仙乘胜渡过黄河，在中条诸山列栏栅，近旁的郡县都响应附和，分派邵云等人攻下绛、解等县。官吏传布文书，请求州印章，彦仙说“：我以县尉的身份守卫这里，只使用我的印章。”事情传到朝廷，皇帝对辅佐大臣说：“近来得知彦仙与金人交战，多次取得胜利，我高兴得睡不着觉。”马上命令彦仙为知陕州兼安抚使，升任武节郎、..门宣赞舍人。彦仙搜集军用器械，增筑城墙，疏浚低洼积水的地方，愈加做战守的准备，他把家属全部接来，说：“我以家殉国，与城共存亡。”听说的人感动佩服。邵兴在神稷山，率其部众来归附，愿意受彦仙的指挥约束。彦仙征召邵兴统领河北忠义军马，屯扎在三门，后来依靠他的力量收复虢州。
金国将领乌鲁撒拔再次进攻陕州，彦仙极力抵御，金人黔驴技穷而离去。建炎三年(1129)，娄宿尽其所有军队从蒲、解二地大举进入，彦仙在中条山伏兵阻击，金兵大败溃散，娄宿仅以身免。彦仙被授予右武大夫、宁州观察使兼同、虢州制置。彦仙估计金人必定合力来进攻，便派人前往宣抚使张浚请求三千骑兵，待金人进攻陕州，立即空城渡过黄河北趋晋、绛、并、汾等地，捣毁金人的心腹之地，金人必定自救，而我就由岚、石二县西渡黄河，经过..、延州返回。张浚写信劝彦仙空城清野，据险保聚，待空隙而行动。彦仙不同意。
娄宿率领叛将折可求所部号称十万人来攻打陕州，把军队分成十部分，以正月早晨作为开始，每天轮流一军攻打州城，然后聚集十军合力进攻，期望用三十天时间一定攻克。彦仙意态像平常一样，登上望楼，大肆作技宴乐，暗中使人系绳而出，焚烧金人攻城的器具，金人惊愕而退却。粮食尽，彦仙煮豆来给部下吃，而取豆汁自饮。到这时豆子也吃完，彦仙向张浚告急，张浚派人从偏僻的小路拿着金币犒劳守城的军队，檄令都统制曲端率泾原兵来支援。曲端素来嫉妒彦仙出己之上，没有出兵的意思。张浚的幕僚官谢升对张浚说“：金人如果在很短的时间内攻下陕州，就全部据有大河，而且窥视巴蜀了。”张浚于是出师到长安。因道路阻碍不能前进，副将邵隆、吕圆登、杨伯孙从外面来援助，历尽道路艰险伤亡严重，仅仅有人到达而已。
彦仙每天与金人战斗，将士们未曾解甲。娄宿很惊奇彦仙的才能，曾经用河南兵马元帅的官职引诱他，彦仙斩杀了金人使者。到这时娄宿使人呼喊说：“马上投降，给予以前许下的官秩。”彦仙说“：我宁可做宋朝的鬼，也不需要你的富贵！”命令发强弩一发击毙喊话的金人。彦仙设置钩索，每天钩取金人，撞击斩杀在城楼上。双方杀伤相当，守卫矮墙的人伤亡日尽；而金人增兵加紧攻城，州城陷落，彦仙率领大家展开巷战，箭头像刺猬一样集中在他身上，左手臂多次被刀砍伤，但战斗愈加努力。金人爱惜他的才能，重赏招募人生擒他，彦仙换上破旧的衣服逃走渡过黄河，说：“我不甘心用身体承受敌人的刀刃。”不久之后听说金人放纵士兵屠杀抢掠，说：“金人之所以纵杀于此城，是因为我坚守而攻不下的缘故，我有什么面目还生活在这个世上呢？”于是投黄河而死，终年三十六岁。金人杀害了他的全家，只有弟弟李夔、儿子李毅得以幸免。张浚接受皇帝的诏命赠彦仙为彰武军节度使，在商州建立祀庙，号忠烈。以他的儿子为官，给予住宅一处，田土五百亩。绍兴九年(1139)，宣抚使周聿请求朝廷在陕州立庙，取名“义烈”。后把商、陕州给金人，把庙迁到阆州。乾道八年(1172)，易谥号“忠威”。
彦仙身材高大而且脸长，严厉不可进犯。他以信义治理陕州，违犯命令者即使贵要也严惩不贷。与部下同甘共苦，所以士兵乐意为其所用。他具有运筹谋略，善于应变。曾经强取土地到青涧一带，突然遇见金人，众人都陡然一惊，彦仙依傍山势树立疑兵旗帜，慢慢地占据柳林，解甲自如。金人怀疑有埋伏，引兵而去，彦仙追袭金人于险要之处，金人践踏伤害纵横相枕。关东都被金人攻下，惟独陕州保全，金人决心打算攻下陕州，然后合力向西进攻。彦仙以孤城控扼要冲之处又一年多，大大小小战斗二百次，金人不能西进。到州城陷落，百姓没有二心，即使是妇女也登上屋顶用瓦投掷金人，哭李观察之声不绝。金人愤怒，毁城市杀居民，整个陕州于是陷没。副将邵云、吕圆登、宋炎、贾何、阎平、赵成都死去，均被赠以官职录用他们的家人。