龚遂，字少卿，是山阳郡南平阳县人。
因通晓经术而担任官职，官至昌邑县郎中令，侍奉昌邑王刘贺。
刘贺行为不端正，龚遂为人忠厚，性格刚毅临难不苟，他在府内规劝昌邑王，在府外指责傅相，援引经义，陈述祸福，以至痛哭流涕，从不阿附。
龚遂多次当面指责昌邑王的过失，以至昌邑王掩耳起身走开，说“：郎中令善于羞辱人。”直到昌邑王及国人都害怕他。
昌邑王曾长时间与骑马的侍从、膳食官吃喝玩乐，赏赐无度，龚遂进去拜见昌邑王，痛哭流涕以膝行走，左右侍从都流出了眼泪。
昌邑王说“：郎中令为什么哭？”龚遂说“：我哀痛封国将要灭亡了！希望您赏赐清闲让我说出我的愚见。”昌邑王让左右回避，龚遂说：“大王知道胶西王没有德政而灭亡的原因吗？”昌邑王说“：不知道。”龚遂说“：我听说胶西王身边有个阿谀的臣子叫侯得，胶西王所作所为和夏桀商纣差不多，可侯得认为胶西王是尧舜。
胶西王对他的阿谀奉迎很高兴，经常和他一同起居，只因侯得的谗言，才使胶西王到了这一地步。
现在大王您亲近众小人，逐渐染上了邪恶习气，存亡的关键不能不慎重啊。
我请求选拔侍郎通晓经术有品行有道义的人和您相处，坐下来就背诵《诗》、《书》，站起来则学习礼节法度，这对您应该是有益的。”昌邑王答应了他。
龚遂于是选拔郎中等十人侍奉昌邑王。
过了几天，昌邑王就赶走了张安等人。
过了很长时间，王宫中多次出现怪异之事，昌邑王询问龚遂，龚遂认为将有大难，宫室将什么都没有，这些话记载在《昌邑王传》里。
正碰上汉昭帝死，汉昭帝没有儿子，昌邑王刘贺继位，原来的属吏都被征召进入朝廷。
昌邑王的郡相安乐被提升为长乐卫尉，龚遂拜见安乐，流着眼泪对他说：“昌邑王即位成为天子，一天比一天骄傲自满，劝谏他而他再也听不进去，现在刚穿丧服，每天却与小人吃喝玩乐，斗弄虎豹，弄来蒙有皮革的车子，驾着九游车，东奔西跑，所作之事违背常理。
古制宽缓，大臣有隐居的，现在请求离去不能，装疯又怕被人知觉，死后为世人所不齿，怎么办？您是皇上原来的郡相，应该极力规劝。”昌邑王即位二十七天后，终因淫乱不堪被废黜。
昌邑王的群臣犯有使昌邑王陷入罪恶之中不仁道的罪过，都被诛杀，被杀死的有二百多人，只有龚遂与中尉王阳因多次规劝才得以免于一死，但被剃去头发判处四年徒刑。
汉宣帝即位以后，渤海郡附近郡国每年闹饥荒，盗贼并起，而郡守却不能将他们捉拿制服。
皇上选拔力能治理者，丞相御史便推荐龚遂可被任用，皇上于是让龚遂担任渤海太守。
当时龚遂已有七十多岁了，皇上召见龚遂，龚遂个子矮小，汉宣帝看见后，与他所听到的形象不相符合，故内心里看不起他，于是对龚遂说“：渤海郡动荡不定，我非常担心。
你打算用什么办法平息那里的盗贼，来满足我的心愿？”龚遂回答说：“海滨遥远，没蒙圣上教化，那里的百姓为饥寒所困扰而当地官吏不悯恤。
所以使得您的海滨百姓被迫武装起事，好像幼儿盗窃兵器，戏弄于池畔一样，并非有意为乱。
现在您打算让我以武力制服他们呢，还是让我用德化安抚他们使他们得到安定呢？”皇上听了龚遂的问话，非常高兴，回答说“：选用有德行的人，本来是打算用德化安抚他们使他们得到安定。”龚遂说“：我听说治理叛乱的人就好像清理没有条理的绳子，不能心急；只有一步一步地，然后才可以治理。
我希望丞相御史不要用法令条文来限制我，让我完全能见机行事。”皇上答应了他，给他增赐黄金，赠派专车。
龚遂到达渤海地界，郡守听说新太守到来，派兵迎接，龚遂将护送迎接的人全都打发回去，移送文书嘱咐属县彻底废黜追捕盗贼的官吏，说所有手持锄镰等农具的人都是善良的百姓，官吏不得过问，而手执兵器的人则是盗贼。
龚遂单车一人到达郡府，郡中安定，盗贼也都自灭。
渤海郡又有许多抢劫掳掠的事件发生，他们听到龚遂的命令之后，马上解散，放弃兵器弓箭而持锄镰。
盗贼于是完全平息，百姓安居乐业。
龚遂于是打开粮仓将粮食分给贫民，选拔起用有德行的官吏，在那里安抚管理百姓。
龚遂发现齐地风俗奢侈，喜欢工商业，不务农事，于是他自己亲自以节俭作表率，激励百姓致力于农桑，规定每一个人种植一棵榆树、一百本薤、五十本葱、一畦韭，每一家喂养两只母猪、五只鸡。
百姓有携带刀剑的，令他们卖剑买牛，卖刀买犊，说什么是带牛佩犊！春夏季不得不从事农作，秋冬季按所收获的农作物的多少交纳相应赋税，多多收藏果实芰芡。
龚遂慰问巡视时，郡中都有积蓄，吏民都很富裕。
官司停止。
几年后，皇上派遣使者征召龚遂，议曹王生希望同去。
功曹认为王生一向喜欢喝酒，没有节度，不能派去。
龚遂不敢违背皇上旨意，跟随使者到达京城。
王生每天喝酒，不看望太守。
正当龚遂被带引入宫的时候，王生喝醉了酒，便从后面呼喊，说：“龚遂暂且停一下，有点事我想让您知道。”龚遂返回询问其究竟，王生说“：如果皇上询问您凭什么治理渤海郡的，您不能随便陈对，应该说‘都是圣主的恩德，并不是我的能力’。”龚遂采纳了他的话。
到了皇上面前后，皇上果然询问治理渤海的情况，龚遂像王生所说的那样回答了。
皇上很高兴他有谦让的美德，微笑着说：“您从哪来得到谨厚长者的话来说呢？”龚遂把先前来时的情况告诉皇上说：“我不知道这些，是臣子议曹王生告诉教诫我的。”皇上认为龚遂年纪大了不便担任公卿，于是升任他为水衡都尉，议曹王生为水衡丞，以此褒扬龚遂。
水衡主管上林禁苑，为离宫别馆供应设置各种器物，为宗庙捕取祭祀用的牲口，官职与皇上亲密接近，皇上特别器重他，后老死在官位上。