段志玄是齐州临淄县人。父亲段偃师，仕隋任太原郡司法书佐。跟随高祖起兵，任官至郢州刺史。志玄姿质魁武，少时不务正业，多次触犯法令。大业末年，随父客居太原，因剽勇果决，为群恶少年畏服，受到秦王赏识。

高祖起兵时，率千余人随从，授职右领大都督府军头。随同攻下霍邑、绛郡，进攻永丰仓，都做先锋前驱。历任左光禄大夫。跟从刘文静抵御屈突通于潼关。文静遭桑显和袭击，其军即将溃败，志玄率领精骑驰赴敌阵，连杀十余人，身中流矢，忍痛不言，横击自如，敌众混乱，大军乘势进击，唐兵气势重振。屈突通败走，志玄与诸将跟踪追获于稠桑，因功多，授职为乐游府车骑将军。

随同征讨王世充，深入敌阵，因马跌倒被敌擒获。由两贼骑夹持其发髻，将渡洛河时，志玄突然踊身腾起，两骑全都落马，志玄夺其马奔回，追骑数百名不敢逼近。攻破窦建德、平定东都后，迁任秦王府右二护军。隐太子曾用金帛引诱他，而他拒绝不受。秦王即位后，历任左骁卫大将军，封为樊国公，享受实封九百户。下诏派他率兵到青海夺取吐谷浑牧马，因逗留不进，被免官。不久又复职。

文德皇后下葬时，志玄与宇文士及领兵守卫章武门。太宗夜间派遣使者到两将军处，士及开门接纳使者，志玄拒绝说“：军门不可夜开。”使者拿出手诏，志玄说：“夜里不能分辨真假。”不予接纳。

天亮后，太宗感叹道：“这才是真将军，周亚夫怎能与他相比？”后来改封为褒国公，历任镇军大将军。

贞观十六年(642)生病，太宗临视，哭着说“：应给您的儿子五品官衔。”志玄叩头道谢，并请求给予同母兄弟，太宗便拜志感为左卫郎将。到去世时，太宗哭得很伤心。赠予辅国大将军、扬州都督，陪葬于昭陵，谥为壮肃。