李建林是交城人，他有一个姐姐远嫁临县，两地大概有七八天的路程。李建林历来行事鲁莽，曾经在酒后得罪本县有权势的人，后来被迫外出躲避，准备投靠在临县的大姐。出走时他没有带足盘缠，只依靠步行，独自一人走了五六天后。有一天傍晚，路上突然行来个黄衣人，骑着个骡子，走得很慢，两个人同行了好一会后，李建林问黄衣人要去哪里？黄衣人回答说，要去临县。李建林听了很高兴，言道，好耶！我也是，我们可以同路。黄衣人欣然接受了他的提议。
又走了一段路程，李建林停下来说，已经快要看不清路了，应该找个地方投宿才是！黄衣人回答道，快要到了，没必要在此地停留，可以去丛林中找点干竹照明，我身上有火匣子。李建林虽然很多年没走过这段路，但记忆里是应该还没有这么快到临县的，一时之间他非常疑惑。黄衣人又道，既然你我有相遇的缘分，有些事是可以让你知道的，我是临县新任的主簿，着急去县衙报道，时间在天亮之前，超过这个时间，我将要受到惩罚，你若有其他选择，现在就应该决断。
黄衣人说完后，从包裹里拿出官凭印信，粗略地让李建林过目。李建林看了后很高兴，走在前面为他牵绳引路，极力去讨好他，黄衣人看起来似乎很受用这些，欣然接受了他的好意。途中暂歇时，李建林叫醒路边已经关门的酒家，买来酒肉招待黄衣人，黄衣人吃了后很高兴，连连称赞他。上路后，在黄衣人的指引下，两人不久就到了县衙门口，虽然已经夜深，但依然有来往的差人。黄衣人上前递了官凭，很快就有人前来迎接他，一小吏将他们迎入后厅，开始置办宴席。
黄衣人这时就招呼李建林喝酒，就像到了自己家里一个样，他们的四周立有三四个小吏伺候。喝了有一会，黄衣人就问小吏说，最近本县中有没有诉讼？小吏回答说没有。黄衣人又问有没有等候处置的犯人？小吏说，没有重犯，就前几天有个人喝醉后在衙门口小解，被我等拿下，一直关押在牢中，只等候大人上任来发落。黄衣人听了后正色道，现在就可以把犯人带过来！两个小吏得令后，不久就将犯人带了进来。犯人到后，跪在地上始终低着头，哀求声不断。黄衣人很严厉地斥责他无礼，准备判决他去做三年的苦役。
这个时候李建林感觉这个犯人的神态声音，似乎都很像自己的姐夫，就问这个人叫什么名字，小吏回答说，叫王栗。李建林听了后惊道，我的姐夫也叫这个名字，我们已经好多年没见过面了，可以让他抬起头辨认吗？黄衣人说，哪有什么问题！就令犯人抬头。李建林一看，犯人果然是自己的姐夫王栗，不禁跑上前抱住他哭泣起来，并请求黄衣人能赦免他的罪责！黄衣人言道，既然他是你的姐夫，以我们的交情，这件事就不用再去追究了。即令小吏释放王栗，只是让李建林留下，继续与他饮酒作乐。
两人又喝了许久，眼看快要天亮了，黄衣人才十分不舍地和他道别，又差了两个小吏送他，走过了两个街口，小吏为他指明了方向后，自去了。李建林到了姐夫家中，才见他的姐夫一副大病初愈的样子，仔细询问，才知道王栗已经昏死了好几天，他说出自己昏迷时见到的梦境，竟然和李建林昨夜遇到的一模一样。又问他为何会这样？王栗说，自己和友人聚会，喝多后在城隍庙前小解，突然就从里面跑出来几个小吏将自己捉拿住关押了起来，直到后来审讯时才与他相见，自己亦是在城隍庙前被人救回至家中，一直不死不活，已经有五六天的光景了。
李建林听了这些，还是不大相信，天亮后他按照记忆中衙门的方向行去，才发现那里果然是一座城隍庙，这时候他才相信自己昨夜见到的是个鬼官，但他并不害怕，只是后来他与那黄衣人再没有相见过。