阴曹地府是鬼的家园，与高高在上的天宫、月宫不同，它更接近凡人，或者说，它是每一个没有成仙的人必然的归宿。出于对死亡的恐惧，人们自然就惧怕了地府，那儿的黑白无常、牛头马面、厉鬼夜叉总能让人在梦中不寒而栗。
地府是三界之一，也受玉帝统领，《西游记》中记载孙悟空在生死簿上勾销了自己的名字，阎罗王便去向玉帝告状了。由于地府远离天宫，因此便有着相对独立的运转体系。
有传说说，冥间的主宰是丰都大帝。丰，是北方癸地的鬼国，《论衡·订鬼篇》引《山海经》云：
沧海之中，有度朔之山。上有大桃木。其屈蟠三千里，其枝间东北曰鬼门，万鬼所出入也。上有二神人，一曰神荼，一曰郁垒，主阅领万鬼。
这段文字今本《山海经》中已经看不见了，但它对于鬼国的描述，却深入到人们心中，并演化出更多的传说，《枕中书》中写道：“鲍靓为地下主者，带潜山真人……郁垒为东方鬼帝。治桃丘山。张衡、杨北方鬼帝，治罗丰山。杜子仁为南方鬼帝，治罗浮山。周乞、嵇康为中央鬼帝，治抱犊山。赵文和为西方鬼帝，治皤冢山。”按书中所说，鬼的统领不是一个人，而是根据地域划分了势力范围，其中，罗丰山的出现，直接导致了丰都大帝之说的产生。到了南北朝，“北帝君”的形象日益丰满起来，《真灵位业图》述其身分曰：“炎帝大庭氏，讳庆甲，天下鬼神之宗，治罗丰山，三千年而一替。”将原来的张衡、杨云改为炎帝，提升了北帝的身分，使他能名正言顺地凌驾于其他各帝之上，南北朝时期著名医药学家陶弘景还为他正式定名为“丰都北阴大帝”。“丰都”的名称应该来源于其治所罗丰山。
作为鬼国的中心，罗丰山十分巍峨壮观，《真诰》卷十五“阐幽微第一”载：“罗丰山在北方葵地，山高二千六百里，周回三万里……其上其下并有鬼神宫室。”这时的罗丰山还是一座虚构的神山，但到了宋代，它却变身入四川境内。《夷坚志》云：“忠州丰都县有丰都观，其山曰盘龙山，即道家所称北极地狱之所。”
丰都县是隋炀帝义宁二年临江县置，为什么用“丰都”这样的名字已经难以考察了，但这确实给信奉神仙之学的人一个附会的机会。更何况离丰都县300里之处确实有一座名山“平都山”，传说西汉的王方平、东汉阴长生都在此得道成仙而去。清代学者认为，这本来应该作为神仙的窟宅的，也许因为阴长生的名字让人误会，渐渐被讹传成“阴君”。
再往后，历代信徒不断修葺宫殿、观宇和其他景物，将平都山整饬得愈发接近传说中的地府，终于造就了今天著名的旅游景点“鬼城丰都”。
另一个体系则称地府的主宰是阎罗王，这是根据佛教传说而来的称呼：阎罗王，也称阎魔王。而阎魔，即琰摩、琰摩罗，梵语Yamaraja的译音，意为缚，缚有罪之人的意思。Yamaraja原是古印度神话中阴间的主帝，有兄妹双王之说，称兄治男魂。也有经文指他是毗沙国国王，在战争中失利，于是立誓愿为地狱之主。
随着佛教在中国的传播扩大化，“阎罗王”称谓也渐渐深入人们的脑海之中，并衍化为一个群体，即十殿阎罗王，敦煌藏《佛说十王经》就是早期的记载。
丰都大帝和十殿阎罗王两个体系反映的是本土道教和外来佛教对死亡的认知，其中有相悖的内容，也有重合的部分，尤其是对生前善恶的考定，为它们的融合创造了先决条件，丰都大帝渐渐与阎罗王合二为一，到了唐代，便有了天帝册封阎罗王，并由其统率五岳卫兵的记载。而明清小说中的阴曹地府，无论建筑的名称、地府官吏，还是罪罚的方式，都是中西结合的产物。

先来看看建筑和道道路吧：
与天宫一样，这里也有一个城门，门楼上书写“幽冥界”三个大字，城中便有宫殿重重，道教早期文献在讲到罗丰山时称“山上有六宫……第一宫名为纣绝阴天宫，以次东行，第二宫名为泰煞谅事宗天宫，第三宫名为明晨耐犯武城天宫，第四宫名为恬昭罪气天宫，第五宫名为宗灵七非天宫，第六宫名为敢司连宛屡天宫。凡六天宫是为鬼神六天之治也”。这些宫殿尽是鬼国决断亡魂之所，与阎罗王十殿有异曲同工之处，不过由于十殿中第五殿主为“阎罗王”，因此这阎罗王殿似乎就成了地府的主殿了。
此外更有十八层地狱。狱者，拘押犯魂之所，地府之狱，故称地狱。据《地狱经》载：第一层地狱以人间3750年为1日，30日为1月，12月为1年，而罪人在此的刑期是1万年，此后每层递增20倍。无怪乎俗语要说“打入十八层地狱，永世不得超生”了。
连接阎罗王殿和各地狱之间的，有奈河桥、鬼门关、黄泉路……其中“奈河”也出自佛典，据说河中尽是血水，腥秽不可近。鬼门关在《论衡》里指的就是幽冥界的入口，但在佛教典籍中却是通往地狱之门，有5道将军坐镇，将军对所来的罪鬼毫不留情，或有劈腹开心，或有生剥面皮，惨不忍睹。
无论是地狱、奈河还是鬼门关，都增加了地府的森森鬼气，因为地府本来就是审判机构。在其中受刑的鬼魂都是在阳间有过恶行的，有的在活着时可能已经受到过惩罚，但也有漏网之鱼，因此地府就承担起终极审判的职能。