甄琛，字思伯，中山毋极人。他从小聪敏颖悟，在家里与兄弟们游戏取乐，常常忘掉礼法。博览经史子集，文章犀利，称为刀笔。长得短小丑陋，缺少风度。被举荐为秀才，到京城一年多，天天因下棋荒废时日，以至通宵不眠。常常令仆人掌灯为他照亮。仆人有时打瞌睡，他就大加鞭打，这种情况不是一次两次。仆人受不住这份痛苦，便说：“你辞别父母出来做官，如果是为了读书让我掌灯，我不敢推罪。因为下棋，日夜不停，难道是来京城的目的？对我处罪，不也是没有道理吗？”甄琛听后十分惭愧，便跟着许赤彪读书研讨学问，知识日渐增加。太和初年，任中书博士，又升任谏议大夫。经常有所陈奏，都得到孝文帝的赏识。
宣武帝即位，任甄琛为中散大夫，兼御史中尉。他低眉俯首，畏惧权贵，不敢纠劾王公贵族。所弹劾的，大多是下级官吏。当时，赵修正受朝廷重用，甄琛尽力奉迎。甄琛的父亲甄凝任中散大夫，兄弟甄僧林任原籍所在州的别驾，都是请托赵修帮他向朝廷申请办理的。赵修干的许多奸诈欺蒙的事情败露，明天就要收监问罪，今天，甄琛便揭发他的罪状。让他监视对赵修施行鞭打，他还有些同情之心，然而却对别人说：“赵修是个小人，脊背像牛一样结实，很能耐住鞭子。”有见识的人因此非议他。赵修死的第二天，甄琛与黄门郎李凭因犯有朋党罪被叫到尚书处。兼任尚书职务的元英、邢峦追究他们攀附赵修的情况。甄琛曾经宴请朝廷的官员，客人们都已到来，邢峦来得较晚，甄琛戏谑说“：哪里放出一条蛆来，这么晚才来？”虽然是开玩笑的话，邢峦听了变了脸色，心里十分恼怒。这时，便全力审问他。司徒、录尚书事、北海王元详等奏请朝廷免掉甄琛与李凭的官职，以严肃风纪。奏章被批准，甄琛被免去职务，回到原籍，一起被株连处死和免官的共二十多人。
开始甄琛以父母亲年纪高迈为理由，请求解除职务，回去侍奉老人。所以，孝文帝任他为本州的长史。等到他显贵发达，不再请求归乡，这时才回到家里。供养父母多年，母亲先故去，丧期未完，又遇父丧。甄琛在父母的墓地亲手栽植松柏，隆冬季节还掘土浇水，乡亲们哀怜他，都过来帮忙。十多年内，树木繁茂。甄琛与弟弟僧林发誓终生同住，专事家产。他亲自耕田，不断放鹰犬奔驰追逐作为娱乐。朝廷中有大事，还上表陈述自己的意见。
过了很久，又被授予散骑常侍，任给事黄门侍郎、定州大中正，很被朝廷信任，以门下庶事相委任，出则参与尚书的政事，入则与皇帝共商大计。孝文帝时，甄琛兼任主客郎，迎送南齐使臣刘纟赞。他很敬佩刘纟赞的气宇形貌，常常感叹而称赞他。刘纟赞的儿子刘晰为驻守朐山的主帅，刘晰去世，家属迁居洛阳。刘晰有个女儿不到二十岁，甄琛便娶来做妻子。结婚那天，朝廷下诏赏给厨房的用费。甄琛十分喜欢这个女孩子，宣武帝也时常来调戏她。
他迁任河南府尹，黄门和中正的职务仍然不变。他上表说：
“我国还在北部代地时，忧虑盗贼太多。世祖太武皇帝亲自过问，到处设置主司，里宰一职都以下级代替令长，以及让五等无职务的男爵中有谋略的人来担任。又设置许多官吏和士兵，帮助里宰治安。由于对这件事情重视，所以盗贼得以制止。现在，迁都洛阳以来，天下疆域广阔，四方边远之地都来首都朝会，事业之盛，远过代都。然而，盗贼公行，抢劫案件接连不断。社会混乱的原因是市内各坊住人混杂，管理不严，主司软弱失职，不严加检查的缘故。现在选择令尹既不是南方优秀的人才，里尉像拿着铅刀割肉一样对待囚犯，想整顿好洛阳的秩序是不可能的。里正一职是流外四品，官职小而任务繁琐，充任者多是下等人才，人人心怀苟且，不能督察，所以使盗贼肆虐。各种赋税也缺乏管理。偏远小县，管辖不过百来户居民，而令长都由将军担任。京城中的各坊，大的或者一千户、五百户，住在里面的都是王公大臣、权要们的亲戚。骄横奸猾的仆役，偷偷蓄养着盗贼恶棍，他们住在高门大院，一般官员很难过问。治安与边远小县相比，难易程度大不相同。请选取武官中八品将官以下精明强干的，以原来的职务兼任里尉，各自领取原来的俸禄。官阶高的任六部尉，中等的任径途尉，低的任里正。”
朝廷下诏说：“里正官阶可进至勋品，经途官阶为从九品，六部尉从正九品中选取，何必一定要行伍出身的人担任呢？”甄琛又奏请让羽林军在京城巡查，缉拿盗贼。于是京城秩序稳定，后来都沿袭这种做法。
甄琛又转任太子少保，黄门一职照旧。高肇被处死，甄琛因与他有朋党关系不宜再参与朝政，朝廷调他任营州刺史，后又任凉州刺史。他也因为自己与高肇关系亲近，不愿意在朝廷内任职。过了很久，又回朝廷任吏部尚书。不久，又调他任定州刺史。他坚决推辞，说：“陛下您在东宫为太子时，崔光任少傅，我任少保。现在，崔光任车骑大将军、仪同三司、开国公。已故的仆射游肇当时为侍中，与我的官阶相似，游肇在尚书省为仆射，死后追赠车骑将军、仪同三司、冀州刺史的官职。我现在才为征北将军、定州刺史。活着的我还不如死了的游肇。”朝廷下诏书慰勉他。甄琛到了定州，白天穿着华贵的衣服到处巡游，志得意满。为政虽然严谨细密，却没有什么声誉。
死后，朝廷赠给棺木，封为司徒公、尚书左仆射，给予后部鼓吹的待遇。