荀伯玉字弄璋，广陵人。祖父荀永，是南谯太守。父亲荀阐之，是给事中。荀伯玉在宋朝做官，担任晋安王刘子勋的镇军行参军。泰始初年，跟随刘子勋起事。等事败回到京城，靠占卜挣钱为生。
齐高帝镇守淮阴，荀伯玉担任高帝的冠军刑狱参军。高帝为宋明帝所怀疑，被征调担任黄门郎，深怀忧虑，一次他看见水泽中有一群鹤，便命笔歌咏道：“八风舞遥翮，九野弄清音，一摧云间志，为君苑中禽。”他把诗拿给荀伯玉深入指点，荀伯玉劝高帝派遣几十个骑兵进入魏朝边界，安顿下来，打出旗号。魏军果然派遣了数百名游动的骑兵在边界上巡逻，高帝把情况上报。还怕不能留下，就让荀伯玉占卜。荀伯玉说不能成行，而高帝终于恢复了本来的职务。由此他很受亲待。高帝原来有个旧吏东莞人竺景秀曾因过错被囚禁在作部，高帝对荀伯玉说：“您近来看过竺景秀没有？”回答说：“多次前去看他，对他备加责斥，他说‘如果允许我自新，一定要吞刀刮肠，饮灰洗胃’。”高帝很满意他的答话，便把竺景秀放了，后来终于成为忠信之士。
后来他跟随高帝回京，被任命为奉朝请。高帝让他主持家事。武帝免去了广兴的职务回京，建了一座别宅，派人从大宅中去掘几棵树，荀伯玉不给，驰马报告了高帝。高帝很称赞他。
高帝做了南兖州刺史，荀伯玉随从转为镇军中兵参军，兼广陵令。起初，高帝在淮阴，荀伯玉请假回到广陵，梦中登上了广陵城的南楼，上面有两个青衣小童告诉荀伯玉说：“草中肃，九五相追逐。”荀伯玉看城下人头都有草。泰始七年(471)，又梦见高帝乘船在广陵北面的小洲，两腋下面有翅膀而不能舒展。荀伯玉问怎么才能舒展，高帝说：“推后三年。”荀伯玉在梦中自称是咒师，共六次唾咒他，有六条龙出来，两腋下的翅膀都舒展开了，又都合上。元徽二年(474)，高帝攻破了桂阳，威名大震，五年而废掉了苍梧王，他对荀伯玉说：“您的梦现在就要生效了。”
升明初年，他仍然担任高帝的骠骑中兵参军，兼济阳太守。霸业建立以后，荀伯玉忠诚尽心，常常在身边警卫，加任他为前将军，大受信任。齐朝建元元年(479)，被封为南丰县子，担任豫章王司空咨议，太守职务依旧。
当时武帝在东宫，自以为年长，与高帝同创大业，朝廷的事情不论大小，全部专断，有很多都违背制度。身边人张景真被他偏狭地信任，又非常奢侈。武帝拜陵回来，张景真穿着白衣服乘坐着彩绘的小舟，坐在胡床上。观看的人都怀疑是太子，内外都很害怕，没有人敢说话。骁骑将军陈胤叔事先已经陈述了张景真和太子前后的得失，荀伯玉趁着武帝拜陵之后，秘密启奏，皇上大怒。豫章王萧嶷平素就受到宠幸，正因为武帝是长嫡子，又南郡王兄弟并列，所以以武帝为太子，到现在有了改换的意思。武帝东还，派文惠太子、闻喜公萧子良宣读敕令进行诘责，并且把张景真的罪状给他看，让他用太子的命令把张景真抓起来杀掉。陈胤叔于是告诉武帝，都说是荀伯玉告诉皇上的。武帝担忧恐惧，称病一月有余。皇上的怒气不消，白天躺在太阳殿，王敬则直接进入叩头，启请前往东宫以安慰太子。高帝没有说话，王敬则于是大声宣读圣旨前往东宫，命令人们进行装束。又敕令太官设下肴馔，秘密派人报告了武帝，让他奉迎。于是呼左右的人找好车子，高帝一点也没有行动的意思。王敬则找衣服让高帝穿上，便拉着他坐上车子。于是便去了东宫，召见诸王宴饮，接着游了玄圃园。长沙王萧晃抓住了华盖，临川王萧映手拿着雉尾扇，闻喜公萧子良拿着酒枪，南郡王行酒，武帝与豫章王萧嶷以及王敬则自己捧着肴馔。高帝大饮一通，赐给武帝以下的人喝酒，都大醉尽欢，傍晚才离开。这天如果没有王敬则，则东宫差不多就要被废除了。
高帝很看重荀伯玉的尽心，越发受到信任，让他掌管军国秘密大事，权力超过了朝中大员。每次暂时休假，车马盈门。他曾经遭到母亲的丧事，穿上丧服的那天，左率萧景先、侍中王晏同车前往吊唁。五更的时候便乘上了有车衣遮盖的巾车，离荀伯玉的宅院还有大约二里地，王侯朝士已经站满了巷子，到了打鼓结束的时候还没有走到跟前，司徒褚彦回、卫军王俭都从后方陆续走到了前面，又倚在厅堂里呆了好久。宫中下诏派中书舍人徐希秀断哭止客，过了好久才得以吊唁。等出来以后，二人又饥又乏，气息细弱，切齿愤恨流于外表。第二天入宫，便说：“我们所见的二宫门和斋门跟荀伯玉家相比，正可以张罗捕雀。”接着又说：“外面议论说，千敕万令，不如荀公一命。”
武帝深深怨恨荀伯玉，高帝临死的时候，指着荀伯玉嘱托给武帝。武帝即位，荀伯玉担心害怕。皇上听说了，因为他和垣崇祖要好，垣崇祖的田业在江西，担心他们互相煽动作乱，加意抚慰他们，荀伯玉才安心了。永明元年(483)他与垣崇祖一齐受到诬告而被处死，而陈胤叔为太子左率。吕文显慨叹说：“荀伯玉能为太祖谋划而不能自谋，难道不是天意么！”
起初，荀伯玉微贱的时候，有善于看墓地风水的人对他的父亲说：“您家墓地一定会出暴贵者，只是不能长久罢了；又会出失行的女子。”荀伯玉听了说：“早晨听了道，晚上死去也可以了。”不久，荀伯玉的姐姐要嫁人，第二天应当出门，头天晚上却随着别人逃去，家里的人寻找不到。后来终于出家为尼。荀伯玉也终于败亡。