1867年(同治六年)進(jìn)士，授編修。出為陜甘學(xué)政。1877年(光緒三年)赴山、陜襄辦賑務(wù)，不辭勞苦，親赴災(zāi)區(qū)察勘，得左宗棠、曾國(guó)荃等保薦，次年，授河北道。1880年(光緒六年)，詔給三品卿銜，隨吉林將軍銘安辦理寧古塔、三姓、琿春等東陲邊務(wù)。次年，授太仆寺卿。是年4月，吳大澂為三品卿銜，赴吉林隨同銘安幫辦一切事宜，旋即改為“督辦”。于6月行抵吉林，即與吉林將軍銘安商酌防務(wù)事宜，于整軍吏、守邊強(qiáng)邊等方面多有建樹。

吳大澂與吉林將軍銘安于吉林建立邊防軍隊(duì)。改原有八旗兵，廢除世襲制，改為招募制，共建防軍馬步13營(yíng)，5000人。次年防軍增至9000人，后統(tǒng)稱靖邊軍，經(jīng)過(guò)嚴(yán)格訓(xùn)練，己“悉成勁旅”。于琿春開始修筑東、西炮臺(tái)。為防御沙俄從水上入侵，還創(chuàng)建圖們江、松花江水師營(yíng)。同時(shí)設(shè)立招墾局，移民墾荒，推行實(shí)邊政策。他經(jīng)過(guò)實(shí)地勘查，確定以琿春和三岔口所屬邊地為招墾中心，設(shè)立琿春招墾局，下設(shè)五道溝和南崗分局。招墾范圍廣泛，且規(guī)定許多優(yōu)惠政策。為給墾民、商旅和軍隊(duì)提供方便，1880年底，修筑從寧古塔至吉林省城長(zhǎng)達(dá)600里的大道及北、東線大道，建有百余座木橋，同時(shí)還增加許多驛站，加強(qiáng)了邊疆的防務(wù)力量。

1883年(光緒九年)，法國(guó)從越南向中國(guó)擴(kuò)張，奉命會(huì)辦北洋軍務(wù)。1884年遷左副都御使。詔令赴朝鮮處理甲申事變，抵制日本對(duì)朝鮮的侵略活動(dòng)。

勘界談判，據(jù)理力爭(zhēng)

1885年(光緒十一年)，吳大澂會(huì)同寧古塔副都統(tǒng)容山、琿春副都統(tǒng)依克唐阿重勘東部邊界。經(jīng)吳大澂、依克唐阿再三辯駁，據(jù)理力爭(zhēng)，終于達(dá)成協(xié)議。于1886年10月12日正式簽訂《中俄琿春東界約》及《中俄查勘兩國(guó)交界道路記》。含補(bǔ)立“土”字牌，添立“啦”、“薩”、“瑪”字界牌和一至十八記號(hào);收回黑頂子;爭(zhēng)得圖們江口通航權(quán)等，從而捍衛(wèi)了祖國(guó)的神圣領(lǐng)土。矗立在琿春市區(qū)的龍虎石刻及具清代建筑風(fēng)格的五角碑亭，就是琿春人民為紀(jì)念愛(ài)國(guó)大臣吳大澂談判勝利而建立的。石刻正面篆書陰刻“龍虎”二字，左下豎刻“吳大澂書”，字體流暢，氣勢(shì)磅礴。吳大澂于談判期間曾多次書寫“龍”、“虎”二字，抒發(fā)其“龍?bào)J虎視”的大無(wú)畏的愛(ài)國(guó)精神。1886年，任中國(guó)首席代表在巖杵河-琿春同俄國(guó)進(jìn)行勘界會(huì)談。與沙俄代表?yè)?jù)理力爭(zhēng)，收回了被沙俄非法霸占的黑頂子百余里的領(lǐng)土，糾正了“土”字界牌。又爭(zhēng)得了中國(guó)船只在圖們江口的航行權(quán)。

1887年(光緒十三年)，調(diào)任廣東巡撫，又同葡萄牙強(qiáng)占澳門和香山七村的侵略活動(dòng)作斗爭(zhēng)。

微服視察，貪吏束手

1887年(光緒十三年)八月，鄭州十堡黃河決口南泛，為害嚴(yán)重。先是署河南山東河道總督李鶴年、河南巡撫倪文蔚主持堵口，朝廷復(fù)派禮部尚書李鴻藻到工督修，1888年(光緒十四年)五月，口門埽占失事，功敗垂成。李鶴年等均革職。七月，皇帝命吳大澂署河南山東河道總督，接辦堵口大工，于當(dāng)年八月到任視事。他認(rèn)為河工堵口收發(fā)料物弊端甚多，乃只身微服，混雜在送料民工中，背運(yùn)秸料，進(jìn)行私訪。發(fā)現(xiàn)發(fā)料短缺，克扣工錢，吳大澂有意率眾與管料官員爭(zhēng)吵，該官員正擬將大澄推下鞭杖時(shí)，他的隨從立即站出高呼：他是河帥，誰(shuí)敢動(dòng)手?這時(shí)吳大澂喝令對(duì)管料的官員予以杖責(zé)，并帶枷在工地示眾，以儆效尤。

治理黃河，籌劃有方

吳大澂對(duì)堵口工程籌劃有方，措施得當(dāng)。對(duì)在工的官吏，分工明確，嚴(yán)限完成。他誓言：如依限不能完成者斬，自己也將以身殉職。在工人員無(wú)不凜然，于是日夜趕堵，于當(dāng)年(1888年)十二月合龍。該工程較撥發(fā)款銀節(jié)約60余萬(wàn)兩。吳大澂任河督時(shí)，對(duì)鄭州、中牟、開封一帶險(xiǎn)工甚為重視。他說(shuō)：中河廳頭堡大王廟頂沖之石堤，……八堡之人字壩、托頭壩(中牟境)，下南廳七堡之順二壩，十九堡之蓋壩(開封境)均甚緊要，是防御省城之門戶。他提倡用水泥砌筑磚石壩，加固工程，這是黃河上使用水泥修工程之始。

1885年(光緒十一年)時(shí)，他曾奏請(qǐng)用新法測(cè)繪黃河圖，自河南省閿鄉(xiāng)縣(今靈寶境)金斗關(guān)到山東利津鐵門關(guān)海口，測(cè)量河道長(zhǎng)1021公里。次年圖成，呈光緒帝瀏覽，命名《御覽三省黃河全圖》。

鄭州十堡大工完成后，因河勢(shì)南趨，行將塌至堤身。吳大澂審時(shí)度勢(shì)，在滎澤八堡(今鄭州李西河一帶)老灘前，筑石壩一座，工竣立一石碑，碑文是：“老灘土堅(jiān)，遇溜而日塌，塌之不已，堤亦漸圮，今我筑壩，保此老灘，灘不去則堤不單，守堤不如守灘?！标U明了他的固灘保堤的治河思想。

吳大澂治河成功后，實(shí)授河道總督，賞頭品頂戴。

暮年兵敗，抱恨辭世

1894年(光緒二十年)，甲午戰(zhàn)爭(zhēng)爆發(fā)，吳大澂時(shí)任湖南巡撫，奏請(qǐng)從軍。8月15日、17日連電“奏請(qǐng)統(tǒng)率湘軍赴朝督戰(zhàn)”。不久，獲清廷允準(zhǔn)，“帶勇北上”。旋被任為幫辦東征軍務(wù)。

1895年(光緒二十一年)1月，吳大澂率新老湘軍二十余營(yíng)出關(guān)，2月11日到達(dá)田莊臺(tái)。從2月21日開始，吳大澂與黑龍江將軍依克唐阿、吉林將軍長(zhǎng)順及宋慶等部合軍，進(jìn)行第四次反攻海城。當(dāng)時(shí)集中在海城附近的清軍共一百余營(yíng)，三萬(wàn)余人。兵力雖多，但因系統(tǒng)復(fù)雜，有湘軍、楚軍、淮軍和東北軍隊(duì)，互不統(tǒng)屬，缺乏統(tǒng)一指揮。吳大澂名義上為幫辦軍務(wù)，但無(wú)法指揮全軍。諸將多“擁兵據(jù)要害，徘徊觀望，乍卻乍前，不能出死力以決一勝”。歸吳大澂節(jié)制的軍隊(duì)只有二十營(yíng)，而他所率領(lǐng)出關(guān)的湘軍將領(lǐng)又多系庸劣無(wú)能、貪生怕死之徒。被調(diào)遣時(shí)，“遲不赴命”。親軍統(tǒng)領(lǐng)劉樹元臨敵“誆怯不前”，炮隊(duì)統(tǒng)領(lǐng)吳元愷聞戰(zhàn)“相率而退”。加以吳大澂低估了敵人，對(duì)戰(zhàn)爭(zhēng)全局缺乏認(rèn)真部署。正當(dāng)吳大澂等集中兵力會(huì)攻海城之際，日軍利用清軍的弱點(diǎn)，采取“佯攻遼陽(yáng)，實(shí)取牛莊”的聲東擊西戰(zhàn)術(shù)，3月3日派第3、5兩個(gè)師團(tuán)進(jìn)犯牛莊。吳大澂等未能識(shí)破日軍陰謀，置牛莊于不顧，全力圍攻海城。由于牛莊防務(wù)空虛，致使一日之內(nèi)就被日軍攻陷。牛莊失守當(dāng)天，吳大澂匆匆由田莊臺(tái)奔往石山站，“沿途潰勇絡(luò)繹，其勢(shì)已成瓦解”，吳大澂退走石山站后，宋慶也把守營(yíng)口的主力撤往田莊臺(tái)，致使?fàn)I口兵力空虛，3月7日日軍又輕易的攻取營(yíng)口，田莊臺(tái)隨后也被攻陷。田莊臺(tái)即失，“湘軍力戰(zhàn)而敗，死傷過(guò)多，人心不振”。吳大澂憤湘軍盡覆，欲拔劍自裁，被左右格阻之。乃自嘆曰：“余實(shí)不能軍，當(dāng)請(qǐng)嚴(yán)議”。清廷以吳大澂“徒托空言，疏于調(diào)度”，3月17日下令撤去其幫辦軍務(wù)職，交部議處。旋革職留任，尋命開缺。1898年(光緒二十四年)，復(fù)降旨革職，永不敘用。

此后，他為生計(jì)所迫，曾任上海龍門書院山長(zhǎng)，授徒自給，又變賣個(gè)人所藏字畫、碑帖、古銅器以補(bǔ)日用。

1902年(光緒二十八年)，吳大澂辭世，時(shí)年68歲。蟄居虞山的翁同龢得知吳大澂去世的消息后，特遣人送去挽聯(lián)：

文武兼資，南海北海;

漢宋一貫，經(jīng)師人師。

橫批：一臥滄江