哥舒翰，是突骑施首领哥舒部落的后裔。蕃人大多以部落称姓，因此以之为氏。祖父名叫沮，左清道率。父亲名叫道元，安西副都护，世代居住在安西。翰家财产丰盈，倜傥侠义，爱好承诺，纵意扌雩..饮酒。四十岁时，父亲死，在京师客居三年，被长安尉所轻怠，感慨之后发愤改变志向，到河西充军。开始事奉节度使王亻垂，亻垂攻占新城，使用翰的谋略，三军无不为之震慑。后来节度使王忠嗣将他补为衙将。翰喜爱读《左氏春秋传》及《汉书》，疏财仗义，兵士很多都归属他。忠嗣任他为大斗军副使，曾派遣翰在新城讨伐吐蕃，有同为副使的人，见翰礼节傲慢，不为所用，翰大怒，将他杀死，军中人为之发抖。迁为左卫郎将。后来吐蕃入侵边境，翰在苦拔海抵御，对方三支步兵从上蜂拥而下，翰手持半段枪攻击其前锋，三行步兵全败，所向披靡，由于这而出名。
天宝六年(747)，提拔为右武卫员外将军，充当陇右节度副使、都知关西兵马使、河源军使。原来，吐蕃每当麦熟的时候，就率部队到积石军收割庄稼，一齐呼喊为“吐蕃麦庄”，前后没有人敢抵御他们。现在，翰派遣王难得、杨景晖等人暗中引兵到积石军，设埋伏等待吐蕃人。吐蕃的五千骑兵到，翰在城中率领骁勇战士快速攻击，将之几乎杀尽，剩余的有些逃跑，埋伏的兵士半路拦截攻击，一匹马也没有回去。翰有个家奴名叫左车，年龄十五、六岁，有膂力。翰擅长使用长枪，追赶上贼军后，用枪搭在他的肩上喝斥对方，贼兵惊恐回头，翰便用枪刺中其喉，都往上挑起三到五尺高再落下，没有不死的。左车就下马斩首，一般都是这样。
这年冬天玄宗在华清宫，王忠嗣被弹劾。皇上下诏引见翰，与他谈话很高兴，于是迁为鸿胪卿，兼西平郡太守，摄御史中丞，代替忠嗣为陇右节度支度营田副大使，知节度事。于是极力劝说救忠嗣，皇上起驾进入禁中，翰叩头随他前来，言辞慷慨、声泪俱下，皇上感动而对忠嗣从轻发落，贬忠嗣为汉阳太守，朝臣都认为哥舒翰侠义而勇壮。
第二年(748)在青海上驻扎神威军，吐蕃来到，攻破了它；又在青海中龙驹岛筑城，有白龙出现，于是起名为应龙城，吐蕃退却不敢接近青海。吐蕃保护石堡城，路远而且险峻，久攻不下。八年(749)，以朔方、河东群牧十万人，委托给翰统领进攻石堡城。翰派手下将领高秀岩、张守瑜进攻，不到十日便攻占下来，皇上奖励其功，授特进、鸿胪员外卿。十一年(752)，加封开府仪同三司。
翰平时与禄山、思顺不谐，皇上常常和解使他们为兄弟。这年冬天，禄山、思顺、翰一起来进朝，皇上派内侍高力士及中贵人在京城东面驸马崔惠童池亭设宴会。翰的母亲尉迟氏，是于阗族人。禄山因为思顺不喜欢翰，曾经憎恨他，此时忽然对翰说“：我父是胡人，母是突厥人；你的父是突厥人，母是胡人。与你的族类相同，为什么不相亲呀？”翰对答说：“古人说，野狐向着洞窟嚎叫是不祥的。这是忘本。我怎么敢不尽心事奉皇上呢！”禄山认为是在讥讽他是胡人，大怒，辱骂翰说“：突厥人竟敢这样吗！”翰想接口对骂，高力士示意翰，翰于是停止了。
十二年(753)，晋升凉国公，给实封三百户，加封河西节度使，不久封为西平郡王。此时杨国忠和禄山之间有嫌隙，多次上奏他将谋反的罪状，因而以厚礼送给翰想结为亲戚。十三年(754)，升太子太保，又加实封三百户，兼御史大夫。
翰喜爱饮酒，纵情声色。到土门军，进入浴室，患了中风症，倒地很久才苏醒，于是入京，在家养病。
等到安禄山谋反时，皇上鉴于封常清、高仙芝出军丧败，召哥舒翰入朝，封为皇太子先锋兵马元帅，任田良丘为御史中丞，充当行军司马，任王思礼、钳耳大福、李承光、苏法鼎、管崇嗣以及蕃将火拔归仁、李武定、浑萼、契絆宁等为裨将，河陇、朔方兵以及蕃兵与高仙芝原来的兵一共二十万人，在潼关抵御敌贼。皇上在勤政楼慰劳送走兵士，百僚在郊外饯行。十五年(756)，加封哥舒翰为尚书左仆射、同中书门下平章事。
哥舒翰到了潼关，有人劝告哥舒翰说：“安禄山设兵阻挠，是以杀杨国忠为名分，你如果留三万兵驻守潼关，派所有的精兵锐将折回诛杀杨国忠，这是汉挫败七国的计策，你认为怎么样？”翰口中答应了，但未实施。有门客将其谋划泄漏给杨国忠，国忠非常恐惧，于是上奏给皇上说：“兵法中有‘安不忘危’之说，今天潼关兵众虽然强盛，但没有守后的，万一发生不利，京师的安危就难说了！请挑选监牧小儿三千人在苑中训练。”皇上同意了，于是派遣剑南军将李福、刘光庭分别主管这件事。又上奏请求召募一万人驻扎在氵霸上，令他的心腹杜乾运率领前往。哥舒翰担忧杨国忠的图谋，于是上表皇上请杜乾运的兵附属于潼关，于是召引杜乾运于潼关商议事务，杀了他。从这以后，哥舒翰的心情更不安逸。又向来有风疾，自这后更是病情加重，军中的事务，不能再亲自过问，委托政事给行军司马田良丘。田良丘又不敢专断行事，教令不一致，队伍涣散。将领王思礼、李承光又为争位长期不合，军队毫无斗志。
原来，哥舒翰多次上奏说安禄山虽然占据了河朔，但不得人心，请把握住他的弊病，离异他的军心，从而消灭他们，可以不损伤我们的军队而达到擒拿敌寇的目的。敌贼将领崔乾..在陕郡潜锋蓄锐，但负责侦察敌情的人却上奏说“敌贼毫无准备”，皇上以为如此，命令所有的军队迅速讨伐敌贼。哥舒翰上奏说：“敌贼已经开始准备叛逆，安禄山通晓用兵之道，一定不会没有准备，这是使阴计。况且贼兵远道而来，目的在于快战快捷。现在我们的军队在此地作战，目的在于坚守阵地，不能轻易出击；如果轻易出关，就是中了敌贼的圈套。恳求皇上进一步观察事态形势。”杨国忠担心哥舒翰谋害自己，多次上奏要求出兵。皇上久居太平，不懂军事知识，被国忠所眩惑，派中使不断监督指责。哥舒翰迫不得已，带师出关。
六月四日，临时驻扎在灵宝县的西部原野。八日，与敌贼交战，哥舒翰的军队南面临近险峭，北面濒临黄河；崔乾..率敌贼数千人先占据了险要位置。哥舒翰和田良丘等人浮船中流用来观察进退，认为崔乾..兵少，轻视敌贼的力量，于是催促将士命令向前开进，人多拥挤堵塞，队伍散乱一团。午后，东风急吹，崔乾..将数十辆车装草纵火焚烧，烟火冲天。将士掩面，都睁不开眼睛，因此被凶徒乘机，王师自相排挤，坠入河中。后面的人看见前面的军队陷入失败境地，也全部散乱，填积在河水中，数万人死亡，哭叫之声振天动地，他们捆绑器械，用枪作楫，投靠北岸，十个中间存活的不过一二个。军队已经惨败，哥舒翰和数百名骑兵飞驰向西归去，被火拔归仁执降贼营。安禄山对哥舒翰说：“你平常看不起我，今天怎么样？”哥舒翰异常恐惧，弯腰伏身说：“肉眼不识陛下，于是到了这个地步。陛下您为拨乱之主，现今天下没有平定，李光弼在土门，来王真在河南，鲁炅在南阳，只要留下我，我写一尺之书招引他们，不需多长时间就可以平定天下。”安禄山大喜过望，于是伪置哥舒翰为司空。哥舒翰写文招引李光弼等人，各位将领传文给哥舒翰都让他不要丢掉气节。安禄山知道事情不能成功，就将哥舒翰关在苑中，偷偷地杀了他。哥舒翰驻守潼关，主管天下兵权，放肆个人意志报复怨仇，诬陷户部尚书安思顺与安禄山暗中往来，并将其上奏，令人伪造安禄山留给安思顺的信件，在关门截获用以献给皇上。这年三月，安思顺以及弟弟太仆卿元贞一起受牵连被杀，将其家属迁移到岭外，天下人为之叫冤。