于谨字思敬，是河南洛阳人，小名巨弥。

曾祖于婆，任魏国怀荒阵将。

祖父于安定，任平凉郡守、高平郡将。

父于提，任陇西郡守，封荏平县伯。

保定二年(562)，由于于谨功勋卓著，追赠于提为使持节、柱国大将军、太保、建平郡公。

于谨性格深沉，有才识器量，多少读过些经史，特别喜欢《孙子兵书》。

他隐居乡里，没有当官的意思。

有人劝说他，于谨回答说：“州郡之职，从前就被人们看不到眼里；三公之位，必须等待时运来到。

我在郡邑悠闲自得，不过是打发光阴罢了。”太宰元穆见到他，赞叹道：“真是辅佐帝王的人才啊！”后来，破六汗拔陵首次扰乱北部边境，请蠕蠕为后援，大行台仆射元纂率军征讨。

元纂早就听说于谨的名望，任命他为铠曹参军事，随军北伐。

蠕蠕听说大军逼近，逃出塞外。

元纂命令于谨率领二千骑兵追击，直到郁对原，前后十七战，使蠕蠕全部投降。

后来率领轻装骑兵出塞侦察贼军动静，恰好有数千铁勒骑兵突然冲到，于谨知道众寡不敌，倘若撤退必然全军覆没，于是将部下骑兵分散，隐匿在草木丛生之处，又派人登上山顶指挥，好像调度各路兵马一样。

贼人望见，虽然怀疑有埋伏，但仗恃人多，并不害怕，仍然向前推进，逼近于谨。

于谨平时所乘骏马，一匹是紫色的，一匹身黄而嘴黑，贼人早已识得。

于谨派两个人各乘一匹，冲阵而出。

贼军以为是于谨，都争先恐后地追赶。

于谨于是率领余下的军队发动攻击，那些追赶的贼骑急忙逃走，于谨乘机入塞。

正光四年(523)，行台广阳王元深训练军队，准备北伐，推荐于谨担任长流参军，对他特别优待，所有计谋都与于谨商议，元深又让他的儿子佛陀拜见于谨，待于谨达到这种地步。

于是与广阳王击败贼酋斛律野谷禄等人。

时当魏末动乱，盗贼纷起，于谨从容地对广阳王说：“从正光年间以来，四海动荡，国家荒残，农商凋敝。

如今殿下奉行仁义，为诛灭群盗而远赴边关，可是盗贼之多犹如蚁聚，假若一味用兵，恐非上策。

于谨愿意仰承大王的威望谋略，前去向他们说明道理，必定不用军队，而可以达到平定的目的。”广阳王表示赞同。

于谨通晓数国语言，于是独自骑着马进入贼人营地，向他们表示恩惠和信诺。

西部铁勒酋长乜列河等人率领三万余户一块诚心归附，相继南迁。

广阳王想和于谨到折敷岭迎接他们。

于谨说：“破六汗拔陵兵马不少，听说乜列河等人归附，必然前来阻截。

如果他们先占据险要之处，我军就很难取胜。

如今拿乜列河等人为诱饵，他们必然争来抢掠，然后我们设下伏兵，以逸待劳，就很容易打败他们。”广阳王同意他的计谋。

破六汗拔陵果然前来截击，在折敷岭上击败乜列河，俘获其全部部众。

于谨伏兵冲出，将破六汗拔陵打得大败，又将乜列河的部众全部夺回。

魏帝对此表示嘉许，任命于谨为积射将军。

孝昌元年(525)，又跟随广阳王征讨鲜于修礼。

军队停扎在白牛逻，恰逢章武王被鲜于修礼害死，于是将军队停在中山。

侍中元晏向灵太后扬言：“广阳王身为宗室，受令出征，如今竟徘徊不进，图谋非份之想。

又有于谨智谋才略非凡，是主谋之人。

当今战乱之时，恐怕已经不是陛下的忠臣了。”灵太后采纳了他的意见。

诏令在尚书省门外立榜，招募能捉拿于谨的人，许以重赏。

于谨听说了这件事，对广阳王说：“如今女主临朝，听信谗言，如果不明白殿下的清白之心，恐怕大祸很快就要临头。

请允许我到京城投案，请官府治罪，披露真心，可免掉自己的灾祸。”广阳王同意了。

于谨就跑到榜下说：“我知道这个人。”众人一块盘问他。

于谨说：“这个人就是我。”官府上报，灵太后召见于谨，非常气忿。

于谨详细表述广阳王的忠诚，又陈述了停军的情况。

灵太后的气消了一些，放了他。

不久加授别将。

二年(526)，梁国将领曹义宗据守穰城，多次侵犯边界。

于是命令于谨和行台尚书辛纂率军讨伐。

双方相持多年，打了几十次仗。

于谨升任都督、宣威将军、冗从仆射。

孝庄帝即位后，任命为镇远将军，不久转官直寝。

又随太宰元天穆讨伐葛荣，平定邢杲，任征虏将军。

跟从尔朱天光击败万俟丑奴，封石城县伯，食邑五百户。

普泰元年(531)，被任命为征北大将军、金紫光禄大夫、散骑常侍。

又随尔朱天光平定宿勤明达，讨伐夏州贼首贺遂有伐等，将其荡平，被授以大将军职。

跟从尔朱天光在韩陵山与齐神武作战，尔朱天光失利，于谨入函谷关。

贺拔岳上表求让于谨留下镇守，授卫将军、咸阳郡守。

太祖驾临夏州，任命于谨为防城大都督，兼任夏州长史。

贺拔岳被害后，太祖前去平凉。

于谨对太祖说：“魏国气数将尽，奸臣专权，群盗并起，百姓苦不堪言。

您姿仪绝世，胸怀雄才大略，远近四方都仰慕您。

希望您早作打算，以符合众人之心。”太祖问道：“凭什么这样说？”于谨答道：“函谷关以西之地，为秦、汉旧都所在，古称天府，将士骁勇，土地肥沃，西有巴蜀的富饶，北有羊马的便利。

如今假若占据要害之地，招集英雄，训练军队，鼓励农桑，足以静观时局之变化。

况且天子在洛阳，群敌环伺，如果陈述您的恳切之情，权衡形势的利害关系，请求在关西建都，天子一定会嘉许而西迁。

然后挟持天子而命令诸侯，奉天子之命以讨伐暴乱，像齐桓公、晋文公那样成就霸业，这是千载难逢的机会。”太祖十分高兴。

恰好有敕令追任命于谨为阁内大都督，于谨乘机进呈迁都关中的计策，被魏帝采纳。

不久，齐神武进逼洛阳，于谨随从魏帝西迁。

后跟从太祖征讨潼关，攻破回洛城，授为使持节、车骑大将军、仪同三司、北雍州刺史，晋爵蓝田县公，食邑一千户。

大统元年(535)，升为骠骑大将军、开府仪同三司。

这一年，夏阳人王游浪占据杨氏壁，聚众谋反，于谨将其活捉。

同年，大军东征，于谨担任先锋。

东魏将领高叔礼据守盘豆险地，屡攻不下，于谨攻克盘豆，俘获士卒一千人。

又乘胜攻克弘农，活捉东魏陕州刺史李徽伯。

齐神武兵至沙苑，于谨随从太祖，与诸将合力作战，击败齐神武，晋爵常山郡公，食邑增加一千户。

又参与河桥之战，被任命为大丞相府长史，兼大行台尚书。

稽胡主将、夏州刺史刘平反叛，于谨率军将其讨平。

授大都督及恒、并、燕、肆、云五州诸军事、大将军、恒州刺史，入朝为太子太师。

九年(543)，又随着太祖东征，于谨另外攻克柏谷坞。

在邙山之战中，大军失利，于谨率领部下假意投降，站在路的左边。

齐神武乘胜追击败军，对于谨没有戒备。

追击的骑兵过完时，于谨从后面发起攻击，敌人大惊失色。

独孤信又集合士兵在后面奋勇进击，齐神武的军队乱了阵脚，大军于是得以保全。

十二年(546)，授尚书左仆射，兼任司农卿。

等到侯景归附，请求派兵援助，太祖命令李弼率兵策应。

于谨劝告说：“侯景从小就通晓用兵的权谋，很难猜度他的真实用意。

不如暂且给他高官厚禄，观察他的动静。

如果立即派兵出援，实在不妥当。”太祖不听。

不久，重新兼任大行台尚书、丞相府长史，率兵镇守潼关，加授华州刺史，赠送禾巨鬯酒一尊，配有灌酒的玉瓒。

很快又被任命为司空，食邑增加四百户。

十五年，升任柱国大将军。

齐氏称帝，太祖出兵征讨，任命于谨为后军大都督，另外封他的一个儿子为盐亭县侯，食邑一千户。

魏恭帝元年(554)，任雍州刺史。

当初，梁元帝平定侯景之后，在江陵继位，与齐氏秘密互通使者，图谋侵略。

其兄之子岳阳王萧鮞当时任雍州刺史，由于梁元帝杀了他的哥哥萧誉，二人结下怨仇。

萧鮞依托襄阳前来归附，请求派遣军队。

于是命令于谨率兵征讨，太祖在青泥谷为于谨饯行。

长孙俭问于谨道：“如果替萧绎考虑，他将怎样行动？”于谨答道：“陈兵汉水、沔水，一举渡过长江，占据丹阳，这是上策；迁移外城居民，退守内城，加固城防，等待援军，这是中策；假若难以迁移，据守外城，这是下策。”长孙俭问：“你估计萧绎一定用哪一种策略？”于谨答：“必定用下策。”长孙俭说：“他放弃上策而用下策，这是为什么？”于谨答道：“萧氏据守长江以南，已有数十年历史。

恰值中原多有动乱，没有顾着向外扩张。

又因为我朝还有齐氏为祸，一定认为我不敢分散兵力。

况且萧绎软弱，缺乏谋略，性疑忌而少有决断。

愚民很难考虑到根本大计，都是眷恋家园，不愿迁移，要求据守外城，因此必用下策。”于谨命令中山公宇文护、大将军杨忠等人率领精锐骑兵首先占据长江渡口，切断对方的退路。

梁人在城外竖起木栅栏，长宽达六十里。

不久，于谨军至，率领全军将其包围。

梁主多次派兵在城南出战，每次都被于谨击败。

过了十六天，外城陷落。

梁主退保内城。

次日，梁主率领太子以下臣僚，两手反绑于身后，出城投降，不久全部被杀。

俘虏男女十余万人，没收其仓库珍宝。

得到宋朝的浑天仪、梁朝的日晷铜表、魏朝的相风乌、铜蟠螭趺、直径四尺周七尺的大块玉石，以及各种车辇和仪仗器物，全部上交，军队没有私下扣留。

立萧鮞为梁国君主，整顿军队凯旋。

太祖亲自来到于谨府第，在宴会上言谈极尽欢洽。

赏给于谨奴婢一千人，还有梁国的宝物和金石丝竹乐器一部，另封新野郡公，食邑二千户。

于谨坚决辞让，太祖不许。

又命令司乐创作《常山公平梁歌》十首，让乐师演唱。

于谨自己由于长期担任重任，地位和声望都很高，既然已经建立功名，就想过优闲的生活，把自己原来所乘骏马和所穿盔甲上交。

太祖明白他的用意，就说：“强敌未平，你怎么能独善其身呢？”不接受他上交的骏马和盔甲。

六官建立后，任命于谨为大司徒。

太祖驾崩后，孝闵帝年纪还小，中山公宇文护虽然接受遗命，可是名望地位向来不高，公卿们都图谋专权，互不服气。

宇文护很担忧这件事，悄悄拜访于谨。

于谨说：“我一直承蒙丞相的另眼看待，情份之深，超过骨肉。

今日之事，必须以性命相争。

倘若在大庭广众之下形成决定，您一定不要谦让。”第二天，公卿们举行会议。

于谨说：“当初皇族几临覆灭，人人争夺帝位。

丞相志在扶正补救，亲历战阵，才使得国运中兴，百姓安宁。

如今天降大祸，先帝驾崩。

继位者年纪虽幼，而中山公与其有叔侄之亲，又受先帝遗命，所有军国大事，必须由中山公裁决。”言词振奋，神色激厉，众人无不惶恐。

宇文护说：“这是我家的事，我虽然一向平庸愚昧，也万万不敢推辞。”于谨与太祖同辈，宇文护平时对他特别恭敬。

这时，于谨快步而前，说道：“您若统理军国大事，我们这些人就有依靠了。”对宇文护再行跪拜之礼。

其他人迫于于谨所为，也只得再行跪拜，此事就这样决定下来。

孝闵帝登基后，封于谨为燕国公，食邑万户，升任太傅、大宗伯，与李弼、侯莫陈崇等人参议朝政。

贺兰祥征讨吐谷浑的时候，于谨只是担任主帅之名，并未亲自出征，但是向贺兰祥传授了作战方略。

保定二年(562)，由于年老，于谨上表乞求退休，诏令不许。

三年(563)四月，诏令授于谨以三老之位。

于谨上表一再推辞，诏令不许。

又赐延年杖。

高祖亲临太学，侍奉于谨用餐，并请教治国之要。

于谨答道：“治国之本，在于忠诚，讲信用。

所以古人讲可以没有食物，可以放弃武力，但不可失去信用。

国家的兴亡，无不是由此而引起。

希望陛下牢守忠信，不要失掉它。”晋公宇文护东征时，于谨已经年老有病，宇文护因为于谨是宿将旧臣，还请他同行，向他请教作战方略。

军队回来后，赐给他钟磬一套。

天和二年(567)，又赏赐他可以坐乘的小车一辆。

不久任命他为雍州牧。

三年，在任上逝世，终年七十六岁。

高祖亲临葬礼，诏令谯王宇文俭监护丧事，赏赐杂色丝织品千段，粟麦五千斛，赠授本来官职，加授使持节、太师、雍恒等二十州诸军事、雍州刺史，谥号“文”。

安葬的时候，凡王公以下臣僚，都护送灵柩到城外。

附祭于太祖庙庭。

于谨富于智谋，善于侍奉皇上。

他名望地位虽高，但愈来愈谦退。

每次上朝往来，只有两三个骑马的随从。

朝廷凡有军国大事，大多要与于谨商量决定。

于谨也竭尽智慧才能，辅佐谐和皇室。

所以在功臣之中特别受重用，始终如一，没有人说他的坏话。

他常常教训儿子们务必要保持恬静谦退之心。

加上于谨年事已高，极受礼遇，子孙很多，都担任了显要官职，当时没有人能比得上他的。

儿子于萛嗣其爵位。