武将王伯安被罢免后，在老家亳州建造府邸，招纳贤士，豢养死士，为他日的复出做准备。贤士当中有个异人，叫灵师，这个人本事很神秘，从来都不以真面目识人，且经常替人相面，说的都很准，王伯安最宠信他。有一次王伯安宴请众人喝酒，他和灵师坐在楼上，门客一百多人都在楼下。这期间有某甲某乙两个武士酒后起了争执，某甲就拿着刀大声比划着要杀掉某乙，某乙也不甘示弱，叫嚷着要和他厮杀。王伯安在楼上看见后，心里非常不痛快。
这时候楼下突然有个人站出来大声呵斥道，今天主人招待尔等，是莫大的恩赐，然而你们却酒后滋事，惊扰了大家的兴致，完全没有一点门下的规矩，现在还有什么话说吗！言罢，此人就拔出刀来，将某甲某乙都杀了。王伯安在楼上看见后，很欣赏他，就上前扶着栏杆问他叫什么名字？那人回答说，江州刀客栾洪。自此后，王伯安就让他做了自己的近侍，并让他管制门下的武士。栾洪做事很有分寸，只知执行王伯安的命令，所交代的事没有办不好的，久而久之，王伯安和他夫人都很信任他。
有一次，王伯安和灵师喝酒，酒后他就问灵师，栾洪能否堪大任？灵师就回答说，他这个人不贪财，忠义无双，然而却难以过女色这一关，终究是差了点。王伯安让他再详细地说一下。灵师就又道，有好几次我都发现他看你的小妾眼神很不对，应该只是碍于你的身份不敢造次罢了，这
个人的面相上就是如此，如果有很好的机会，他是很有可能会抛弃对你的忠心和仁义的！王伯安听了后，摇着头不是很相信。灵师就笑着说，何不使点手段试一下呢！王伯安闻言后，表示同意他这样做。
灵师就找来王伯安小妾的衣服穿在自己身上，又在酒杯中下了药，并交代王伯安请栾洪来喝那杯酒，到时候了就装醉，自会让他知道结果。王伯安就按照他说的话去办。栾洪来后，喝了那杯下了药的酒，灵师见了后，就拿着酒壶从后面走出来为他们斟酒，此时栾洪已经中了灵师的幻术，错将他当作了王伯安的小妾。两人就开始对饮，过程中栾洪多次偷看灵师化作的小妾，王伯安见状，就开始装醉熟睡。这时候灵师就座下来和栾洪喝酒，并对他说，嫁给王伯安实属无奈，其实自己最想嫁的就是他这样的英雄。并要求他带自己远走高飞。栾洪听了后，心里很纠结，不知道该怎么办。
灵师化作的小妾又力劝他道，大丈夫不想久居于人下！必定就要有敢做敢为的魄力，作为女子都这样劝你了，你还在犹豫什么呢？栾洪听他如此说，一时热血沸腾，答应了下来。灵师又递上刀，对他言道，若要无后顾之忧，应该趁此机会杀了他。栾洪闻言将刀扔在一旁，厉声道，如此说，还不如杀了我，万万做不出这样的事！两人就开始准备逃离，还没出门，灵师又言道，趁此机会，应该去偷些金银，以后也好有个本钱。栾洪听了不忍道，怎么还敢
想这许多呢！就拉着灵师往门外走，门一打开，外面早就埋伏了很多人，当场就将他擒拿住了。王伯安非常愤怒，想到栾洪辜负了自己的信任，很想杀了他。
这时候灵师就走出来劝他说，栾洪虽说有罪，但他没有对你痛下杀手，忠义尚存，应该还不至于死。王伯安听了后，就将他逐出了府。回去后，王伯安的夫人却对他说，栾洪不就是和你一样喜欢美色吗？他有什么错？一个买来的小妾都不能舍弃吗？这样如何能收买到人心成就你将来的大事！王伯安听了后忽然醒悟，叹道，还是夫人识大体啊！就赶紧令人追上栾洪，将自己小妾送给了他，并附送了五百两银子作为他回乡的路费。栾洪没想到主人王伯安会谅解自己，还如此厚待他，跪在地上哭泣了很久。
王伯安为了能复出为官，和大将军吴桐的关系很密切，灵师知道后，劝了他很多次都没听，他非常失望，叹息着离去了。几个月后，吴桐被朝廷以意图谋反的罪名被拿下，王伯安受此事牵连，逮捕后暂时关押在县衙大牢，死罪似乎已经可以确定。押送他到州府的那天，有官兵有一百多人参与，半路上突然杀出了三四十个黑衣人，都用大刀，官兵抵挡不住，丢盔弃甲逃走了一大半。王伯安和他夫人被解救了出来，大家一相见，黑衣人的头目果然是栾洪。王伯安见他拼死相救后，惭愧之心油然而生。后栾洪将他送到了钟南山隐居，半个月后，才拜别王伯安夫妇二人而去。