桓溫死后，他的弟弟桓沖掌握了荊州的大權(quán)，桓沖對(duì)東晉朝廷效忠，而掌握朝政大權(quán)的謝安也能夠使得內(nèi)外安定，東晉內(nèi)部終于出現(xiàn)了難得的安定局面。謝安推薦他的侄子謝玄擔(dān)任兗州刺史，領(lǐng)廣陵相，監(jiān)江北軍事。謝玄北方來(lái)的流民中招募了一批驍勇之士，加以嚴(yán)格的訓(xùn)練，創(chuàng)建了一支勁旅，號(hào)稱“北府兵”。劉牢之是其中的佼佼者，他擔(dān)任參軍，經(jīng)常率領(lǐng)精銳為前鋒，戰(zhàn)無(wú)不摧，令敵人畏懼。北府兵的形成，也使得東晉中央了有一支可以憑借的武裝力量，能夠制約地方政權(quán)。東晉內(nèi)部穩(wěn)定了，但是外部形勢(shì)是非常嚴(yán)峻的，前秦在滅亡了前燕以后，又逐漸統(tǒng)一了北方，國(guó)力逐漸強(qiáng)大，向東晉發(fā)起了數(shù)次攻勢(shì)。東晉寧康元年，前秦奪取了益州和梁州地區(qū)，東晉在寧康二年曾經(jīng)組織反擊，但是失利了。東晉太元元年，前秦攻取了名義上稱臣于東晉的涼州。太元三年，前秦又在江漢地區(qū)發(fā)動(dòng)進(jìn)攻，奪取了南陽(yáng)，圍攻襄陽(yáng)和彭城。太元四年，襄陽(yáng)和彭城相繼陷落，前秦一度深入淮南，逼近長(zhǎng)江，多虧謝玄率領(lǐng)北府兵連續(xù)反擊，將秦軍擊退到了淮北，才度過(guò)了這次危機(jī)。

但是前秦已經(jīng)奪取了長(zhǎng)江中上游的有利地形，又有著超過(guò)東晉的強(qiáng)大國(guó)力，歷史似乎要重演西晉伐吳統(tǒng)一天下的一幕。太元八年，秦王苻堅(jiān)親自率領(lǐng)三十萬(wàn)大軍到達(dá)壽陽(yáng)，與謝安的弟弟謝石率領(lǐng)的八萬(wàn)晉軍展開(kāi)了歷史上著名的淝水之戰(zhàn)，戰(zhàn)爭(zhēng)的勝負(fù)成敗有必然因素也有偶然因素，雖然前秦在淝水的潰敗并不是非常慘重，但是卻成為國(guó)家崩潰的開(kāi)始，各種勢(shì)力紛紛起兵，北方再次出現(xiàn)了大混戰(zhàn)的局面。這樣的局面，對(duì)于東晉的北伐是千載難逢的好機(jī)會(huì)。

東晉太元八年，前秦軍在淝水潰敗，謝玄率領(lǐng)人馬收復(fù)壽陽(yáng)，生擒前秦淮南太守郭褒。太元九年，鷹揚(yáng)將軍劉牢之收復(fù)譙城?；笡_派遣上庸太守郭寶先后收復(fù)了魏興、上庸、新城三郡。將軍楊全(左邊一個(gè)人，右邊一個(gè)全)期進(jìn)占成固，擊敗了前秦梁州刺史潘猛。竟陵太守趙統(tǒng)進(jìn)攻襄陽(yáng)，前秦荊州刺史都貴棄城奔魯陽(yáng)。前秦洛州刺史張五虎以豐陽(yáng)向東晉投降。梁州刺史楊亮率領(lǐng)五萬(wàn)大軍進(jìn)攻益州，派遣巴西太守費(fèi)統(tǒng)率領(lǐng)水陸軍三萬(wàn)為前鋒，前秦益州刺史王廣派遣巴西太守康回等人迎擊。此時(shí)的前秦一片混亂，各地的守將都人心惶惶，忠于前秦的將領(lǐng)還要率領(lǐng)自己的人馬支援長(zhǎng)安，根本無(wú)力堅(jiān)守自己防區(qū)，東晉的進(jìn)攻遇到的抵抗很少，進(jìn)展非常順利。將軍劉春進(jìn)攻魯陽(yáng)，逃到魯陽(yáng)的都貴直接逃回了長(zhǎng)安。而益州刺史王廣面臨東晉的進(jìn)攻，還派遣將軍王虬師率領(lǐng)三萬(wàn)人馬支援長(zhǎng)安，益州的兵力更加空虛，康回抵擋不住晉軍的進(jìn)攻，退回了成都，梓潼太守壘襲以涪城投降。東晉荊州刺史桓石民進(jìn)占魯陽(yáng)，派遣河南太守高茂防守已經(jīng)被前秦放棄的洛陽(yáng)。擔(dān)任太保的謝安請(qǐng)求趁前秦混亂，開(kāi)拓中原，進(jìn)行北伐。

東晉派遣謝玄為前鋒都督，率領(lǐng)豫州刺史桓石虔等北伐。謝玄進(jìn)軍到下邳，前秦徐州太守趙遷放棄彭城逃走，謝玄又進(jìn)占彭城。謝玄派遣劉牢之進(jìn)攻前秦兗州刺史張崇，張崇放棄鄄城奔燕，劉牢之占據(jù)鄄城，河南塢堡紛紛向劉牢之請(qǐng)降。謝玄派遣陰陵太守高素進(jìn)攻前秦青州刺史苻朗，晉軍前進(jìn)到瑯邪，苻朗投降。前秦長(zhǎng)樂(lè)公苻丕堅(jiān)守鄴城，既要對(duì)付慕容垂的燕軍，又得防備日益逼近的東晉北伐軍。謝玄派遣龍?bào)J將軍劉牢之進(jìn)據(jù)確(左邊一個(gè)石，右邊一個(gè)高)敖(左邊一個(gè)石，右邊一個(gè)敖)，濟(jì)陽(yáng)太守郭滿進(jìn)據(jù)滑臺(tái)，將軍顏肱、劉襲進(jìn)軍河北，這是東晉自祖逖北伐以來(lái)，首次進(jìn)軍河北。苻丕派遣將軍桑據(jù)防守黎陽(yáng)，企圖阻止晉軍的推進(jìn)，劉襲進(jìn)行了夜間突襲，攻克了黎陽(yáng)。苻丕大為恐慌，不得不向東晉求救，請(qǐng)東晉放他們一條生路去長(zhǎng)安，他愿意讓出鄴城。謝玄派晉陵太守滕恬之防守黎陽(yáng)。東晉北伐進(jìn)展順利，先后平定了兗、青、司、豫四州，東晉朝廷加封謝玄都督徐、兗、青、司、冀、幽、并七州軍事。

苻丕的部下打算以鄴城歸順東晉，謝玄派滕恬之、劉牢之率領(lǐng)二萬(wàn)人馬向鄴城前進(jìn)。東晉太元十年，前秦的梁州刺史潘猛放棄漢中奔長(zhǎng)安，益州刺史王廣也放棄益州，率領(lǐng)部眾奔還隴西。劉牢之前進(jìn)到枋頭，準(zhǔn)備接應(yīng)晉軍的人被苻丕殺了，晉軍不能不暫時(shí)停止前進(jìn)。劉牢之與慕容垂交戰(zhàn)不利，退回了黎陽(yáng)。劉牢之在休整以后，再次向鄴城進(jìn)軍，擊敗了慕容垂，燕軍撤圍向北撤退，劉牢之也不通知苻丕，乘勝窮追二百里，士卒爭(zhēng)搶燕軍的輜重，結(jié)果在五澤橋遭到慕容垂的伏擊，精銳的北府兵遭到大敗，損失了數(shù)千人，劉牢之脫身獨(dú)逃，幸虧前秦軍趕到，才撿了一條小命。苻丕讓出了鄴城，率領(lǐng)部下到枋頭接受東晉援助的糧食，劉牢之在鄴城收集散兵，重整旗鼓。而在此時(shí)，東晉蜀郡太守任權(quán)攻克成都，斬殺了前秦益州刺史李丕，收復(fù)了益州。北方一片混亂，東晉深入河北，占據(jù)了鄴城這樣的重鎮(zhèn)，如果努力經(jīng)營(yíng)，平定河北也是可能的。劉牢之雖然遭到了挫折，但是損失并不慘重。但是東晉朝廷以軍敗，召回了劉牢之，苻丕吃飽了飯又殺了回來(lái)，龍?bào)J將軍檀玄進(jìn)行截?fù)?，打了敗仗，苻丕又占?jù)了鄴城。而此時(shí)，主持北伐的謝安病死了，北伐的大計(jì)無(wú)人主持。

司馬道子掌權(quán),以北伐進(jìn)行了這么長(zhǎng)的時(shí)間，命令謝玄部署了各地方的守將以后，停止了北伐行動(dòng)。以后東晉守將就是在邊境進(jìn)行防守，很長(zhǎng)一段時(shí)間沒(méi)有再做進(jìn)取，而謝安死后，本來(lái)穩(wěn)定的東晉朝廷又開(kāi)始了內(nèi)部動(dòng)蕩，更是無(wú)力北顧了，淮北，河南的土地又漸漸失陷。

謝安的北伐，充分利用了前秦在淝水之戰(zhàn)以后崩潰混亂的機(jī)會(huì)，取得了極大的進(jìn)展，不但收復(fù)了黃河以南的廣大地區(qū)，而且深入河北，是祖逖以來(lái)的第一次，遠(yuǎn)遠(yuǎn)超過(guò)了桓溫的成就，說(shuō)明如果東晉朝廷能夠下決心支持，再有適當(dāng)?shù)娜诉x主持，抓住有利時(shí)機(jī)，北伐是大有可為的。但是這樣迅猛的進(jìn)展，東晉并沒(méi)有充分的經(jīng)營(yíng)新收復(fù)的地區(qū)，招撫民眾，及時(shí)恢復(fù)生產(chǎn)，再做進(jìn)取。謝安死后，東晉朝廷再次陷了內(nèi)亂之中。