北周大象二年(580年)五月十一日，北周宣帝宇文贊病死。周靜帝宇文衍年幼，左丞相楊堅專政。楊堅為預(yù)防北周宗室生變，穩(wěn)固其統(tǒng)治權(quán)力，以千金公主將嫁于突厥為辭，詔趙、陳、越、代、滕五王入朝;因尉遲迥(北周文帝宇文恭外甥)位望素重，恐有異圖，遂以會葬宣帝為名，詔使其子尉遲敦召尉遲迥入朝;并以韋孝寬為相州總管赴鄴取代尉遲迥。六月，尉遲迥恐楊堅專權(quán)對北周不利，公開起兵反對楊堅。

七月，青州總管尉遲勤(尉遲迥弟之子)從尉遲迥反楊。尉遲迥所統(tǒng)相(治鄴，今河北臨漳西南)、衛(wèi)(治朝歌，今河南淇縣)、黎(治黎陽，今河南?？h東北)、沼(治廣年，今河北永年東南)、貝(治武城，今河北清河西北)、趙(治廣阿，今河北隆堯東)、冀(治信都，今河北冀縣)、瀛(治趙都軍城，今河北河間)、滄(治饒安，今河北鹽山西南)及勤所統(tǒng)青、齊、膠、光、莒等州(均屬今山東)皆從之，有眾數(shù)十萬。滎州(治成皋，今河南汜水)刺史宇文胄、申州(治平陽，今河南倌陽)刺史李惠、徐州(治彭城，今江蘇徐州)總管司錄席毗羅等，皆據(jù)州響應(yīng);懷縣(今河南武陟西南)永橋鎮(zhèn)將紇豆陵惠以城降尉遲迥。整個山東(太行山以東)除沂州(治瑯邪，今山東臨沂西)外，幾乎都為尉遲迥控制。

時楊堅挾幼帝以號令中外，同月十日，楊堅調(diào)發(fā)關(guān)中兵，令韋孝寬為行軍元帥，隴西公李詢?yōu)樵獛涢L史，郕公梁士彥、樂安公元諧、化政公宇文忻、濮陽公宇文述、武鄉(xiāng)公崔弘度、清河公楊素等為總管，率軍討伐尉遲迥。

此后尉遲迥遣兵分路進(jìn)攻，命大將軍檀讓攻略河南之地，又派人到東郡誘勸于仲文歸附，但遭到拒絕。尉遲迥怒其不從己，遂派儀同宇文威率軍攻打東郡，于仲文指揮所部迎戰(zhàn)，大破宇文威軍，斬500余人，因功被授開府。尉遲迥又派滎州刺史字文胄率軍自石濟(jì)(今河南延津東北)向西、宇文威等率軍由白馬(今河南滑縣附近)附近渡黃河向南，二路俱進(jìn)，合圍東郡，欲置于仲文于死地。在敵眾勢盛與城內(nèi)赫連僧伽、敬子哲等響應(yīng)尉遲迥的情況下，仲文自感難于堅守，只得拋妻別子，率60余騎自城西門突圍而走，途中又遭追殺，一路邊戰(zhàn)邊行，死者十之七八，終于回到京都長安。尉遲迥殺其三子一女。楊堅見到于仲秋文后，將其引入臥室，為之下泣。同時賜彩五百段，黃金二百兩，進(jìn)位大將軍，領(lǐng)河南道行軍總管。給以鼓吹，馳傳詣洛陽發(fā)兵，進(jìn)討檀讓。

時韋孝寬拒尉遲迥于懷縣永橋鎮(zhèn)(今河南武陟西南)，于仲文至韋孝寬處與其商議對策?？偣苡钗男靡驐顖猿鯙樨┫喽凶砸芍模蚨谥傥恼f：“公新從京師來，觀執(zhí)政意何如也?尉迥誠不足平，正恐事寧之后，更有藏弓之慮?！庇谥傥目钟钗男蒙?，便回答說：“丞相寬仁大度，明識有馀，茍能竭誠，必心無貳。仲文在京三日，頻見三善，以此為觀，非尋常人也。”宇文忻又問：“三善如何?”于仲文又回答說：“有陳萬敵者，新從賊中來，即令其弟難敵召募鄉(xiāng)曲，從軍討賊。此其有大度一也。上士宋謙，奉使勾檢，謙緣此別求他罪。丞相責(zé)之曰：‘入網(wǎng)者自可推求，何須別訪，以虧大體?！似洳磺笕怂蕉病Ｑ约爸傥钠拮?，未嘗不潸泫。此其有仁心三也”(《隋書·于仲文列傳》)。宇文忻聞后，心中遂安。

此時檀讓率軍攻下曹州(治左城，今山東曹縣西北)、亳州(治小黃，今安徽亳州)后，屯兵梁郡(今河南商丘南)。八月中旬，于仲文率軍東進(jìn)，在汴州(治浚儀，今河南開封西北)東倪塢，擊敗尉遲迥部將劉子昂、劉浴德兩部后，進(jìn)至蓼堤(今河南商丘縣境，梁孝王時所筑大堤，長300里)，距梁郡七里。時檀讓有軍數(shù)萬，雙方兵力眾寡懸殊。于仲文先派羸弱之師前往挑戰(zhàn)，檀讓軍悉數(shù)來戰(zhàn)，于仲文繼而佯裝敗退，待檀讓軍驕縱懈怠，疏忽戒備后，派精兵快速殺回，由左右兩翼突然進(jìn)擊，大敗檀讓軍，生俘5000余人，斬首700級，迫使檀讓率余部退守成武(今屬山東)。隨后，于仲文軍乘勝攻打梁郡，尉遲迥守將劉子寬棄城逃走。于仲文軍又在追擊中擒斬數(shù)千人，劉子寬僅以身免。此戰(zhàn)，于仲文在兵力對比處于劣勢情況下，以機(jī)動靈活之指揮，創(chuàng)造戰(zhàn)機(jī)，突然回兵，攻其無備，終獲勝利。

在交戰(zhàn)前，諸將都認(rèn)為為：“軍自遠(yuǎn)來，士馬疲敝，不可決勝”(《隋書·于仲文列傳》)。但于仲文卻令三軍迅速進(jìn)餐，列陣大戰(zhàn)，既而破敵。戰(zhàn)后，諸將都疑惑地問道：“前兵疲不可交戰(zhàn)，竟而克勝，其計安在?”于仲文含笑說：“吾所部將士皆山東人，果于速進(jìn)，不宜持久。乘勢擊之，所以制勝”(《隋書·于仲文列傳》)。諸將皆服其理，以為非所及也。

于仲文乘勝攻克曹州(治左城，今山東曹縣西北)，俘尉遲迥所署刺史李仲康及上儀同房勁。檀讓以余眾守成武，別將高士儒以萬人守永昌。于仲文詐為書信至各州縣，說：“大將軍至，可多積粟”(《隋書·于仲文列傳》)。檀讓聞訊后，認(rèn)為于仲文部不能馬上到達(dá)，遂放松警惕，犒勞將士。仲文知其懈怠后，遂選精騎奔襲，一日便至，襲占成武。

這時，降尉遲迥將領(lǐng)席毗羅率軍10萬屯于沛縣(今江蘇沛縣東)，正準(zhǔn)備攻打徐州(治彭城，今江蘇徐州)。于仲文察知席毗羅妻子留住金鄉(xiāng)，便派人假扮席毗羅使者，向金鄉(xiāng)城主徐善凈謊報：“檀讓明日午時到金鄉(xiāng)，將宣蜀公(尉遲迥)令，賞賜將士”(《隋書·于仲文列傳》)。金鄉(xiāng)人信以為真，皆喜。于仲文簡選精兵，偽造尉遲迥的旗幟，加速前往。徐善凈以為是檀讓軍到來，連忙迎接。于仲文隨即將其擒獲，遂占金鄉(xiāng)。諸將多勸屠城，于仲文曉喻部屬：“此城是毗羅起兵之所，當(dāng)寬其妻子，其兵可自歸。如即屠之，彼望絕矣”(《隋書·于仲文列傳》)。眾皆稱善。果然，席毗羅仗其優(yōu)勢兵力來攻，企圖奪回金鄉(xiāng)。于仲文背城結(jié)陣，并于數(shù)里外麻田中設(shè)伏。席毗羅軍列陣畢，剛剛發(fā)起進(jìn)攻，背后伏兵突發(fā)，俱曳柴草鼓噪，塵埃張?zhí)?，喧聲震耳，席毗羅軍頓時混亂。于仲文軍乘勢進(jìn)擊，席毗羅軍慘敗，爭渡洙水(今山東鉅野洙水河)，溺死者甚眾，洙水為之不流。于仲文俘檀讓，檻送京師。席毗羅藏在滎陽一戶人家，也被擒斬。尉遲迥所占河南各地，全部平定。后刻碑紀(jì)功，立于泗水岸上。此戰(zhàn)，于仲文施詐術(shù)輕取金鄉(xiāng)，又以金鄉(xiāng)為餌，誘敵入伏，以少勝多，終于全殲敵軍。