王祥是東漢末年瑯玡郡人，他的祖輩曾做過高官，父親王融沒有接受官府的征聘，隱居在家。

王祥生性孝順。他生母早喪，繼母朱氏不喜歡他，多次在王融面前說他的壞話。漸漸地王融也不喜歡王祥了，打發(fā)他干一些又臟又累的活計。但是王祥毫無怨言，越發(fā)恭敬謹慎。

父母生病，他衣不解帶地殷勤伺候，湯藥一定要親自嘗后再端上。一次朱氏想吃鮮魚，正趕上天寒地凍，河水已經(jīng)結(jié)了厚厚的冰，　王祥脫掉衣服想要把冰鑿開，下去捕魚，冰忽然自己解凍，兩條大鯉魚躍上水面，王祥抓住鯉魚，回家孝敬繼母。

漢末，天下大亂，王祥帶著母親和弟弟王覽到廬江避難，隱局了三十多年。

后來，今州刺史呂虔知道了王祥是一個仁義君子，就請他做了別駕(官名)，處理州內(nèi)事務。

呂虔有把好佩刀，工藝精美，鋒利無比，他常常以此為榮。有一次拿給技工相看，技工贊嘆不已，對呂虔說：

“您這把佩刀是一把寶刀，只有有三公之福分的人才能佩帶。”

呂虔思忖良久，想到王祥仁愛孝義，有謀有略，處理政事井別有條，毫不懈怠，將來一定會發(fā)跡的。于是，呂虔找到王祥，對他說：

“我這里有把佩刀，是稀世之寶。如果不是可佩的人佩帶，刀或許對他有害。閣下謙恭孝義，有經(jīng)邦緯世之才，將來一定會位至公相，這把佩刀非您莫屬，就贈給您吧!”

王祥推辭再三，經(jīng)不住呂虔誠心相贈，最后只能收下。

當時，徐州盜賊猖狂，王祥率領兵士，討伐寇盜，辛勤地治理徐州，這一帶政化大行，百姓安享太平，稱贊他的功績。后來，王祥的官職屢次升遷，被封為關內(nèi)侯、萬歲亭侯，果然位至三公。

王祥臨死時，將兄弟王覽叫到床前，把呂虔贈的那把佩刀鄭重地贈給了他，說：

“這把佩刀是當年呂公所贈，它激勵我勤政愛民，發(fā)奮圖強，位至三公。現(xiàn)在我把它轉(zhuǎn)贈給你，希望你好好保存?！?/p>

王覽點頭答應。他以兄長為榜樣，居官清廉，愛民如子，受到朝廷器重，人民愛戴，后來也位至高宮。

后來，“呂虔佩刀”這一典故，用來形容人官居高位或有高官之望。