孟浩然家在襄阳城南郊外，岘山附近，汉江西岸，名曰“南园”或“涧南园”。题中鹿门山则在汉江东岸，沔水南畔与岘山隔江相望，距离不远，乘船前往，数时可达。汉末著名隐士庞德公，因拒绝征辟，携家隐居鹿门山，从此鹿门山就成了隐逸圣地。
据《襄阳记》载：“鹿门山旧名苏岭山。建武中，襄阳侯习郁立神祠于山，刻二石鹿夹神庙道口，俗因谓之鹿门庙，后以庙名为山名，并为地名也。”孟浩然早先一直隐居岘山南园的家里，四十岁赴长安谋仕不遇，游历吴、越数年后返乡，决心追步乡先贤庞德公的行迹，特为在鹿门山辟一住处，偶尔也去住住，其实是个标榜归隐性质的别业。此诗当作于作者四十岁后隐居鹿门时，故题为“夜归鹿门山”。
诗的前两句描绘了一幅江边之景：黄昏中，山寺里传来报时的钟声，渔梁渡口，人们喧闹着抢渡回家。运用了对比的手法，将悠然的钟声和尘杂的人声两相对照，显示出山寺的僻静和世俗的喧闹，诗人在船上闲望沉思的神情、潇洒超脱的襟怀隐然可见。
这首诗是写“夜归鹿门”，读来颇像一则随笔素描的山水小记。但它的主题是抒写清高隐逸的情怀志趣和道路归宿。诗中所写从日落黄昏到月悬夜空，从汉江舟行到鹿门山途，实质上是从尘杂世俗到寂寥自然的隐逸道路。