江文遥从小就气度恢宏，轻钱财，好结交，有才能的人都去投奔他。夏侯道迁带军队攻打南梁将军杨灵珍，文遥挺剑请求参战，亲手斩杀杨灵珍。他承袭了父亲江悦之的封号，被任命为咸阳太守。勤于礼仪交接，每天坐公堂办公，来者求见他，都和颜悦色接待，并退去侍从，亲密交谈。于是百姓的疾苦，巨盗的姓名，奸猾的官吏，没有不了解的。在郡中严肃治理，奸吏盗贼的活动全被制止，政绩在雍州各郡中最为突出。不久升为安州刺史，善于抚绥接纳，十分体察事情的情理。当时，杜洛周、葛荣等相继反叛，幽燕以南的土地都已失陷，惟有文遥处在群贼包围之中，独自坚守孤城，收集灾荒中剩下的东西，一边耕种，一边打仗，老百姓都愿意听他指挥。

文遥死于任上，长史许恩祖等因为他在百姓中有遗爱厚德，又推举他的儿子江果代管州事，等到接替州事后，才派遣使者奉表给朝廷。庄帝赞许这件事，授江果为通直散骑侍郎，管理安州的政事。未久，贼兵势力变强，由于援军接应不上，江果便携兄弟并率领城里的老百姓向东入高丽避难。直到东魏孝静帝天平年间，朝廷才命高丽国将江果送回，孝帝元象年间，得以还朝。