像王莽、司馬昭等人，他們當(dāng)年廢掉皇帝的時(shí)候，周圍的大臣都是支持他們的，就連后來殺皇帝，也沒多少人反對，畢竟大漢和大魏都只是靠慣性才勉強(qiáng)活著的，群臣們心里清楚的很，劉氏和曹氏早就該下臺(tái)了。

反觀霍光呢?他就差遠(yuǎn)了。漢室未衰，群臣都向漢，只不過因?yàn)榛实圻€小，需要一個(gè)大臣輔政而已。在這種情況下，霍光要是敢篡位，很可能要面臨全國各地的討伐，京城也會(huì)發(fā)生政變。

霍光權(quán)勢最隆的時(shí)候，就是廢劉賀為昌邑王的時(shí)候，其實(shí)他的支持者并不多，主要就是大司農(nóng)田延年、車騎將軍張安世兩人。

大將軍光與車騎將軍張安世謀欲廢王更立。議既定，使大司農(nóng)田延年報(bào)敞。敞驚懼，不知所言，汗出洽背，徒唯唯而已。延年起至更衣，敞夫人遽從東箱謂敞曰：“此國大事，今大將軍議已定，使九卿來報(bào)君侯。君侯不疾應(yīng)，與大將軍同心，猶與無決，先事誅矣?！毖幽陱母逻€，敞、夫人與延年參語許諾，請奉大將軍教令，遂共廢昌邑王，立宣帝?！稘h書.楊敞傳》

田延年去找丞相楊敞商量，楊敞當(dāng)場懵了，不敢表態(tài)，還是她老婆提醒他，你還是趕緊答應(yīng)吧，這種大事不能留活口的，霍光既然告訴了你，你就已經(jīng)沒有回頭路，不答應(yīng)只有死路一條!于是，楊敞最終只能很不情愿地同意了。

劉賀被廢黜之后，很多人都認(rèn)為霍光的權(quán)勢增加了。但實(shí)際上恰恰相反，霍光因?yàn)槟玫侗浦蟪贾С炙?，這導(dǎo)致很多官員都對他投了不信任票，當(dāng)宣帝登基后，相當(dāng)多的大臣站在了宣帝一邊，幫宣帝壓制霍光。

所以實(shí)際上，因?yàn)闄?quán)勢的不牢固，霍光的廢立之舉反而讓自己的權(quán)勢降低了，侍御史嚴(yán)延年甚至敢公然向霍光發(fā)難，彈劾他廢皇帝一事。

這種事，在王莽和司馬昭面前是絕不會(huì)發(fā)生的，如果發(fā)生了，嚴(yán)延年不是殺頭就流放，可在霍光那個(gè)時(shí)代，他卻一點(diǎn)事都沒有，好多官員還很欽佩他。

面對群臣的質(zhì)疑，霍光也是沒辦法，只得表示歸政于宣帝，以示清白。宣帝對此自然是不敢接受，表示我還是信任你的，朝廷事務(wù)也不能離了你。于是，這件事情才算是稍微平息了一點(diǎn)點(diǎn)。

不久之后，霍光想跟宣帝拉近關(guān)系，可是宣帝利用群臣又整了霍光一次，搞得霍光在眾人面前很沒面子，這次事件就是立皇后。

霍光想讓漢宣帝娶自己女兒，這樣可以讓他從權(quán)臣變成外戚，給皇帝當(dāng)岳父。但是漢宣帝堅(jiān)決不同意，最后在群臣的支持下，立了自己的糟糠之妻許平君。

隨著時(shí)間的推移，宣帝的年紀(jì)越來越大，支持他的大臣也越來越多，而霍光一黨，權(quán)勢也是越來越小。

霍光的左膀右臂都被廢了，田延年因貪污被逼死，張安世退居二線，霍光連自己的心腹都保不住，更別提篡位了。