刘牢之本来张望，不附元显，他想操纵桓玄，撤除元显父子，再伺玄隙，把玄翦除，然后好职掌大权，唯所欲为，算盘太精了然。以是牢之虽为前驱，始终未肯效力。下邳太守刘裕，此时也奉调参军，为牢之参谋，请牢之亟往击玄。牢之摇首不答。可巧牢之的族舅何穆，阴受玄嘱，进说牢之道：“从古以来，功高必危，试看越文种，秦白起，汉韩信，俱身事明主，尽忠戮力，功成今后，且不免诛夷，何况为暗主所任使呢？君如本日克服，亦必倾宗，败北当然夷族。胜负俱不能自全，何若幡然改图，尚得长保繁华。前人射钩斩袪，还不害为帮手，今君与桓玄，素元嫌隙，莫非不好相亲么？”牢之正有此意，便令何穆报玄，阴与相通。刘裕再谏不从，牢之甥何无忌，为东海中尉，也极谏牢之，终不见听。裕又使牢之子敬宣入谏，以汉董卓比玄，请牢之急击勿失。牢之反怒叱道：“我也知桓玄易取，但平玄今后，试问骠骑能容我否？”敬宣不好违父，只得唯唯听受。牢之遂遣敬宣潜诣玄营，奉上降书。玄佯为虐待，授任谘议参军，乘势进迫建康。
却说孙恩灭顶，另有妹夫卢循，未曾从死，为众所推，奉为头子。循系晋处置中郎卢谌从孙，双眸炯彻，眉宇清扬，少时工草隶书，并善弈棋。沙门惠远，有相人术，尝语循道：“君可谓风雅士，可惜志存不轨，终乏善果，何如何如！”卢循听了此言，倒也不觉得意。及长，娶孙恩妹为妻。恩纠众反叛，与循通谋。循常劝恩抚绥士卒，故交乐为循用。恩身后即奉循为主，仍然盘据海岛，不平晋命。晋廷还想命刘牢之等，出兵剿循，偏长江上游，崛起了一场大乱，几近把东晋江山，囊括了去，因而不暇顾循，但期扫清长江乱事，好几年才得伏贴。