建武末，上疏自陈曰：
臣伏念高祖之略而陈平之谋，毁之则疏，誉之则亲。以文帝以明而魏尚之忠，绳之以法则为罪，施之以德则为功。逮至晚世，董仲舒言道德，见妒于公孙弘，李广奋节于匈奴，见排于卫青，此忠臣之常所为流涕也。臣衍自惟微贱之臣，上无无知之荐，下无冯唐之说，乏董生之才，寡李广之势，而欲免谗口，济怨嫌，岂不难哉！臣衍之先祖，以忠贞之故，成私门之祸。而臣衍复遭扰攘之时，值兵革之际，不敢回行求时之利，事君无倾邪之谋，将帅无虏掠之心。卫尉阴兴，敬慎周密，内自修敕，外远嫌疑，故敢与交通。兴知臣之贫，数欲本业之。臣自惟无三益之才，不敢处三损之地，固让而不受之，昔在更始，太原执货财之柄，居苍卒之间，据位食禄二十余年，而财产岁狭，居处日贫，家无布帛之积，出无舆马之饰。于今遭清明之时，饬躬力行之秋，而怨仇丛兴，讥议横世。盖富贵易为善，贫贱难为工也。疏远垅亩之臣，无望高阙之下，惶恐自陈，以救罪尤。
书奏，犹以前过不用。
衍不得志，退而作贼，又自论曰：
冯子以为夫人之德，不碌碌如玉，落落如石。风兴云蒸，一龙一蛇，与道翱翔，与时变化，夫岂守一节哉？用之则行，舍之则臧，进退无主，屈申无常。故曰："有法无法，因时为业，有度无度，与物趣舍。"常务道德之实，而不求当世之名，阔略杪小之礼，荡佚人间之事。正身直行，恬然肆志。顾尝好俶傥之策，时莫能听用其谋，喟然长叹，自伤不遭。久栖迟于小官，不得舒其所怀。抑心折节，意凄情悲。夫伐冰之家，不利鸡豚之息；委积之臣，不操市井之利。况历位食禄二十余年，而财产益狭，居处益贫。惟夫君子之仕，行其道也。虑时务者不能兴其德，为身求者不能成其功，去而归家，复羁旅于州郡，身愈据职，家弥穷困，卒离饥寒之灾，有丧元子之祸。
先将军葬渭陵，哀帝之崩也，营之以为园。于是以新丰之东，鸿门之上，寿安之中，地势高敞，四通广大，南望郦山，北属泾渭，东瞰河华，龙门之阳，三晋之路，西顾酆鄗，周秦之丘，客观之墟，通视千里，览见旧都，遂定茔焉。退而幽居。盖忠臣过故墟而歔欷，孝子入旧室而哀叹。每念祖考，著盛德于前，垂鸿烈于后，遭时之祸，坟墓芜秽，春秋蒸尝，昭穆无列，年衰岁暮，悼无成功，将西田牧肥饶之野，殖生产，修孝道，营宗庙，广祭祀。然后阖门讲习道德，观览乎孔老之论，庶几乎松、乔之福，上陇阪，陟高冈，游精宇宙，流目八纮。历观九州山川之体，追览上古得失之风，愍道陵迟，伤德分崩。夫睹其终必原其始，故存其人而咏其道。疆理九野，经营五山，眇然有思陵云之意。乃作赋自厉，命其篇曰《显志》。显志者，言光明风化之情，昭章玄妙之思也。其辞曰：
开岁发春兮，百卉含英。甲子之朝兮，汨吾西征。发轫新丰兮，裴回镐京。陵飞廉而太息兮，登平阳而怀伤。悲时俗之险厄兮，哀好恶之无常。弃衡石而意量兮，随风波而飞扬。纷纶流于权利兮，亲雷同而妒异；独耿介而慕古兮，岂时人之所憙？沮先圣之成论兮，名贤之高风；忽道德之珍丽兮，务富贵之乐耽。遵大路而裴回兮，履孔德之窈冥；固众夫之所眩兮，孰能观于无形？行劲直以离尤兮，羌前人之所有；内自省而不惭兮，遂定志而弗改。欣吾党之唐、虞兮，愍吾生之愁勤；聊发愤而扬情兮，将以荡夫忧心。往者不可攀援兮，来者不可与期；病没世之不称兮，愿横逝而无由。
陟雍畤而消摇兮，超略阳而不反。念人生之不再兮，悲六亲之日远。陟九嵕而临嶭兮，听泾渭之波声。顾鸿门而歔欷兮，哀吾孤之早零，何天命之不纯兮，信吾罪之所生；伤诚善之无辜兮，赍此恨而入冥。嗟我思之不远兮，岂则事之可悔？虽九死而不眠兮，恐余殃之有再。泪汍澜而雨集兮，气滂浡而云披；心怫郁而纡结兮，意沉抑而内悲。
瞰太行之嵯峨兮，观壶口之峥嵘；悼丘墓之芜秽兮，恨昭穆之不荣。岁忽忽而日迈兮，寿冉冉其不与；耻功业之无成兮，赴原野而穷处。昔伊尹之干汤兮，七十说而乃信；皋陶钓于雷泽兮，赖虞舜而后亲。无二士之遭遇兮，抱忠贞而莫达；率妻子而耕耘兮，委厥美而不伐。韩卢抑而不纵兮，骐骥绊而不试；独慷慨而远览兮，非庸庸之所识。卑卫赐之阜货兮，高颜回之所慕；重祖考之洪烈兮，故收功于此路。循四时之代谢兮，分五土之刑德；林相麓之所产兮，尝水泉之所殖。修神农之本业兮，采轩辕之奇策；追周弃之遗教兮，轶范蠡之绝迹。陟陇山以逾望兮，眇然览于八荒；风波飘其并兴兮，情惆怅而增伤。览河华之泱漭兮，望秦晋之故国。愤冯亭之不遂兮，愠去疾之遭惑。
流山岳而周览兮，徇碣石与洞庭；浮江河而入海兮，溯淮济而上征。瞻燕齐之旧居兮，历宋楚之名都；哀群后之不祀兮，痛列国之为墟。驰中夏而升降兮，路纡轸而多艰；讲圣哲之通论兮，心愊忆而纷纭。惟天路之同轨兮，或帝王之异政；尧、舜焕其荡荡兮，禹承平而革命。并日夜而幽思兮，终悇憛而洞疑；高阳其超远兮，世孰可与论兹？讯夏启于甘泽兮，伤帝典之始倾；颂成、康之载德兮，咏《南风》之歌声。思唐、虞之晏晏兮，揖稷、契与为朋；苗裔纷其条畅兮，至汤、武而勃兴。昔三后之纯粹兮，每季世而穷祸；吊夏桀于南巢兮，哭殷纣于牧野。诏伊尹于亳郊兮，享吕望于酆州；功与日月齐光兮，名与三王争流。
杨朱号乎衢路兮，墨子泣乎白丝；知渐染之易性兮，怨造作之弗思。美《关睢》之识微兮，愍王道之将崩；拔周唐之盛德兮，捃桓、文之谲功。忿战国之遘祸兮，憎权臣之擅强；黜楚子于南郢兮，执赵武于湨梁。善忠信之救时兮，恶诈谋之妄作；聘申叔于陈蔡兮，禽荀息于虞虢。诛犁锄之介圣兮，讨臧仓之诉知；〈女巽〉子反于彭城兮，爵管仲于夷仪。疾兵革之浸滋兮，苦攻伐之萌生；沈孙武于五湖兮，斩白起于长平。恶丛巧之乱世兮，毒从横之败俗；流苏秦于洹水兮，幽张仪于鬼谷。澄德化之陵迟兮，烈刑罚之峭峻；燔商鞅之法术兮，烧韩非之说论。诮始皇之跋扈兮，投李斯于四裔；灭先王之法则兮，祸浸淫而弘大。援前圣以制中兮，矫二主之骄奢；馌女齐于绛台兮，飨椒举于章华。摛道德之光耀兮，匡衰世之眇风；褒宋襄于泓谷兮，表季札于延陵。摭仁智之英华兮，激乱国之末流；观郑侨于溱洧兮，访晏婴于营丘。日壹々其将暮兮，独于邑而烦惑；夫何九州之博大兮，迷不知路之南北；驷素而驰聘兮，乘翠云而相佯；就伯夷而折中兮，得务光而愈明。款子高于中野兮，遇伯成而定虑；钦真人之德美兮，淹踌躇而弗去。意斟愖而不澹兮，俟回风而容与；求善卷之所存兮，遇许由于负黍。轫吾车于箕阳兮，秣吾马于颍浒；闻至言而晓领兮，还吾反乎故宇。
览天地之幽奥兮，统万物之维纲；究阴阳之变化兮，昭五德之精光。跃青龙于沧海兮，豢白虎于金山；凿岩石而为室兮，托高阳以养仙。神雀翔于鸿崖兮，玄武潜于婴冥；伏朱楼而四望兮，采三秀之华英。篡前修之夸节兮，曜往昔之光勋；披绮季之丽服兮，扬屈原之灵芬。高吾寇之岌岌兮，长吾佩之洋洋；饮六醴之清液兮，食五芝之茂英。
揵六枳而为篱兮，筑蕙若而为室；播兰芷于中廷兮，列杜衡于外术。攒射干杂蘼芜兮，构木兰与新夷；光扈扈而炀燿兮，纷郁郁而畅美；华芳晔其发越兮，时恍忽而莫贵；非惜身之埳轲兮，怜众美之憔悴。游精神于大宅兮，抗玄妙之常操；处清静以养志兮，实吾心之所乐。山峨峨而造天兮，林冥冥而畅茂；鸾回翔索其群兮，鹿哀鸣而求其友。诵古今以散思兮，览圣贤以自镇；嘉孔丘之知命兮，大老聃之贵玄；德与道其孰宝兮；名与身其孰亲？陂山谷而闲处兮，守寂寞而存神。夫庄周之钓鱼兮，辞卿相之显位；於陵子之灌园兮，似至人之仿佛。盖隐约而得道兮，羌穷悟而入术；离尘垢之窈冥兮，配乔、松之妙节。惟吾志之所庶兮，固与俗其不同；既俶傥而高引兮，愿观其从容。
显宗即位，又多短衍以文过其实，遂废于家。
衍娶北地住氏女为妻，悍忌，不得畜媵妾，儿女常自操井臼，老竟逐之，遂埳壈于时。然有大志，不戚戚于贱贫。居常慷慨叹曰："衍少事名贤，经历显位，怀金垂紫，揭节奉使，不求苟得，常有陵云之志。三公之贵，千金之富，不得其愿，不概于怀。贫而不衰，贱而不恨，年虽疲曳，犹庶几名贤之风。修道德于幽冥之路，以终身名，为后世法。"居贫年老，卒于家。所著赋、诔、铭、说、《问交》、《德诰》、《慎情》、书记说、自序、官录说、策五十篇，肃宗甚重其文。子豹。
豹字仲文，年十二，母为父所出。后母恶之，尝因豹夜寐，欲行毒害，豹逃走得免。敬事愈谨，而母疾之益深，时人称其孝。长好儒学，以《诗》、《春秋》教丽山下。乡里之语曰："道德彬彬冯仲文。"举孝廉，拜尚书郎，忠勤不懈。每奏事未报，常俯伏省閤，或从昏至明。肃宗闻而嘉之，使黄门持被覆豹，敕令勿惊，由是数加赏赐。是时，方平西域，以豹有才谋，拜为河西副校尉。和帝初，数言边事，奏置戊己校尉，城郭诸国复率旧职。迁武威太守，视事二年，河西称之，复征入为尚书。永元十四年，卒于官。
论曰：夫贵者负势而骄人，才士负能而遗行，其大略然也。二子不其然乎！冯衍之引挑妻之譬，得矣。夫纳妻皆知取詈己者，而取士则不能。何也？岂非反妒情易，而恕义情难。光武虽得之于鲍永，犹失之于冯衍。夫然，义直所以见屈于既往，守节故亦弥阻于来情。呜呼！
赞曰：谭非谶术，衍晚委质。道不相谋，诡时同失。体兼上才，荣微下秩。