周灵王十七年，晋国率领诸侯的军队攻打齐国。齐灵公率兵在平一陰一抵抗，结果兵败逃亡，第二年便去世了。齐灵公死后，由齐庄公继位。庄公崇尚勇力，不顾道义，齐国风气日下，朝野上下怨声载道。

晏子臣事于庄公，心急如焚，多次劝说庄公，庄公却不听，也不喜欢晏子。有一次，庄公饮酒之时，下令召见晏子。等晏子进来入座了以后，庄公命令乐工奏歌，歌词中唱到：“算了！算了！寡人不高兴，你来干什么？”乐工连续唱奏了三遍，晏子才明白，原来说的是自己。于是晏子离坐而起，，向北面坐在地上。

庄公见了，问道：“先生就席，为何要坐在地上呢？”晏子回答说：“晏婴听说，妻子要和丈夫争辩时，要坐于地面上。如今，晏婴将与国君争辩，怎敢不坐在地上？

“晏婴听说，势众而不主张正义，力强而不讲究礼节，好勇而厌恶贤能，是自取灭亡之道，灾祸必然降临到己身，像国君而今的情形。如果晏婴之言不被采纳，那么请准辞去现职。”说完，晏子马上起身，很快离开了。庄公见了，也不挽留。

晏子回到家后，凡家中贵重物品，缴还公库；财货之可卖者，送到市常晏子说：“君子有能力为民服务时，就享有爵禄，禄位再丰亦有所不辞；无力为民服务时，纵然是寄食他乡，生活再贫贱也不该厌恶。”于是步行东去，到东海之滨的一个小村里过普通百姓的生活。过了几年后，便发生了崔杼弑庄公的乱子。