孔子考虑的结果，还是再回到卫国去。子贡问道：“不是和公孙戌在匡城订过盟约，不再回卫国的吗？”孔子说：“那是强迫订下的呵，强迫的盟约就是神也不管这笔账的。”
卫灵公听说孔子回来了，十分高兴，并且后悔前些时候不该轻信人言，派人监视。这次他亲自到郊外去迎接孔子。
孔子住在老朋友蘧伯玉家里。孔子这一回在卫国住得很久，一住住了三年。转眼孔子已经五十九岁了。鲁国国内也已经换了国君，鲁定公死了，由鲁定公的儿子鲁哀公继了位。
孔子在卫国的这几年却也并不得意。原因是，卫灵公已经老了，对孔子表面上虽然很敬重，但并不是真心的。他对于本国一些老人像蘧伯玉等尚且冷淡，如何能尊重外来的孔子？他十分荒淫，什么事也不振作，只知道和夫人南子、宠臣弥子瑕等鬼混而已。
卫灵公的夫人南子这时一定要见见孔子。她打发人告诉孔子说：“四方来的名人，凡是瞧得起我们国君、觉得够交情的，没有不来见见我的。我也很愿意长长见识呢。”
孔子起初还婉谢，但谢绝不了，只好去见了她。
南子坐在纱帐里，孔子进门行了礼。南子在帐子里也回了礼。因为有帐子隔着，南子是瞧清楚了孔子的，但孔子却瞧不见南子，只听见南子身上佩戴的玉器叮咚叮咚地响。
孔子出来告诉门徒们说：“我本来不要见这样的女人，这次不过是礼尚往来罢了。”
可是子路很不高兴。他觉得孔子有些失身份。
孔子急了，发誓说：“要是有什么别的，我不得好死，我不得好死！”[93]
孔子和南子的见面也的确产生了一些不良影响。卫灵公认为孔子不是那么严肃可怕了。有一天，卫灵公和南子一同坐车出门，便让孔子在第二辆车上坐着，后面又跟着一辆车，坐的是太监雍渠。他们就这样一块儿在街市上招摇起来了。[94]
卫灵公也许认为这是表示对孔子的亲近吧，但孔子觉得这是难堪的侮辱。孔子事后说：“咳！我没见过看重道德像看重美色那样的人！”[95]
有一天，卫灵公问孔子说：“讨伐匡城蒲乡的公孙戌可以不可以呢？”孔子说：“当然可以，而且应该讨伐。”卫灵公又说：“但是我的大臣们不赞成呢。再说这地方是一个缓冲，可以用来应付晋楚两国的。现在去讨伐，有把握吗？”孔子说：“那地方的男人现在宁愿死，也不愿跟着公孙戌胡闹；那地方的妇女也肯出死力保卫自己的家乡，而不愿意受公孙戌的压迫。我们所要讨伐的，只是为首的四五个人罢了。把握是有的。”卫灵公说：“好。”可是并没有认真去进行。[96]
孔子知道卫灵公是不想振作了，而且也并不重视自己。
有一天，孔子正在屋里击磬（当时的一种乐器），一个背草筐的老人路过门口，听见磬声便说：“击磬的是个热肠人呵！”过了一会儿，他又说：“但是太固执了。磬的声音又响又急，看来这个人是唯恐人家不知道自己！既然没有人知道，也就算了吧，何必呢？歌谣上不是这样唱来着：‘水深呢，脱去衣服游过去；水浅呢，撩起衣服蹚过去。’”[97]
可是孔子这时却还是执迷着——为梦想实现自己的政治理想和得到政治地位而执迷着。
最后卫国发生了政变。起因是卫国太子蒯聩和南子有了恶感。他派人去刺杀南子。但那个人到时候不敢下手，蒯聩屡次用眼睛向他示意，这样便被南子觉察了，她拼命喊起来：“太子要杀我呢！”卫灵公是偏向南子的，太子蒯聩吓得赶紧逃到晋国赵简子那里去了。[98]
这次卫灵公却想用兵了，便又问孔子怎样作战。孔子觉得卫灵公实在老糊涂了，作战理由既不正大，又牵涉到晋国；况且是父子之间的争执，外人是不好插嘴的，于是答道：“要是问我怎样祭天祭祖呢，我是学过的；打仗嘛，我可不懂。”[99]卫灵公听了自然很不高兴。
第二天孔子再同卫灵公谈话的时候，卫灵公的眼睛就没有看孔子，而只是仰着头看空中的大雁。孔子觉察出现在已经是必须离开这地方的时候了。
卫灵公不久就死了，结束了他在卫国四十二年的统治。内争继续着。南子依照卫灵公的遗命，叫小儿子郢来继位。但是郢却不敢答应，他说：“太子蒯聩虽然逃亡在外，但太子的儿子叫辄的还在，应该由他继承。”于是卫灵公的孙子辄被立为卫君，这就是卫出公。可是逃在晋国的太子蒯聩还想回来继位，这事得到了晋国赵简子的支持。那时鲁国的野心家阳虎也在晋国，赵简子便命令阳虎护送蒯聩回国。阳虎派了八个人穿着丧服，假装是从卫国来迎接蒯聩的，于是蒯聩假哭着到了国境。但蒯聩的儿子卫出公却用武力拒绝了蒯聩，结果蒯聩的阴谋失败了。[100]
这就是当时卫国的情况：由卫灵公的父子之争演变为第二代的父子之争。
在卫出公被拥立的这一年——公元前四九二年，孔子整整六十岁了。
当时，孔子的弟子中，有人怀疑孔子是否参与过拥立卫出公的政变，像冉有就问子贡道：“咱们老师是不是曾帮助过卫出公呢？”子贡说：“让我去问问看。”
子贡是个聪明人，他不便直接问孔子，却借两个历史人物来探孔子的口气，他问孔子道：“伯夷、叔齐是怎样的人呢？”伯夷、叔齐是古代传说中的两位王子，他们彼此推让，不肯继任父亲的王位，结果都逃到国外去了。子贡提出这两个人来，看孔子对他们怎么说法。孔子说：“有仁德的人呵。”
“那么，他们有什么怨恨不平吗？”子贡想把问题弄得更明确些。
“他们所追求的只是仁德，而得到的也就是仁德，这就满足了，还有什么怨恨的呢？”
子贡心里就明白了，出来告诉冉有说：“咱们老师是不会参与的。”[101]
死去的卫灵公既然不能重用孔子，现在卫国又发生了剧烈的内部斗争，这内部斗争还牵涉到国外势力——晋国支持蒯聩，齐国则支持卫出公，孔子于是决定离开卫国。
孔子最后批评卫国的政治说：“卫国和鲁国真是难兄难弟呵！”[102]从历史上说，鲁国的祖先是周公，卫国的祖先是康叔，康叔和周公原是亲兄弟，现在混乱的情形又差不多，所以孔子说了这样的双关语。