从司马迁在《史记》中对庐山的记述可以看出，在汉武帝时，庐山这一名称已经是社会的普遍叫法了。我国上古时代的历史地理学著作《禹贡》称庐山为“敷浅原”，康熙年间的《庐山续志》中有“庐山扬州之域，即敷浅原也。”的说法。另一部历史地理名著《山海经》称庐山为天子都、天子郭：“庐江出三天子都，入江彭泽西，一曰天子郭。”随着时间的推移，上述名称为人们所弃置不用，继而出现的是庐山、辅山、匡山、匡庐等称呼。那么庐山这一名称究竟有何来历，自古至今有着多种传说，其中流传较为广泛的有下述两种：

一种是在说在周武王的时候，有一位名叫方辅的方士，追随老子一同到庐山筑庐隐居，炼制仙丹，功成之日，二人得到成仙，二人炼丹的草庐遗存于山上，所以此山得名庐山。同治时《九江府志》中称‘‘方辅先生，周武王时人，与李聃骑白驴入山炼丹，得道仙去，惟庐存，故名庐山。”《豫章古今记》也云：‘‘辅山即庐山也，或即因方辅隐此而名。”

第二种传说是认为庐山的得名来自隐士匡俗（裕）在庐山隐居成仙的传说。这一传说存在两种版本：一种见于慧远的《庐山记》中：“有匿续先生者，一作裕，出自殷周之际，遁世隐时，潜居其下，或云裕受道于仙人，而适游其岩，遂托室岩岫，即岩成馆。故后人感其所止，为神仙之庐而名焉”另一版本仍是关于匡俗的故事，但时间事迹又有所变化。《水经注》中曰：“庐俗字君孝，本姓匡、父东野王，共都阳令吴苘佐汉定天下而亡，汉封俗于鄴阳，曰越庐君，俗兄弟七人，皆好道术，遂寓精于宫庭之山，故世谓之庐山。”

以上两种传说都关乎庐山一名的来由，尽管不尽相同，但其中一个共同特点就是庐山得名于隐士相关联。可见庐山很早就与隐士结下了不解之缘，在几千年前就有人发现这座大山的隐逸魅力了。

除了匡俗与方辅先生外，庐山还流传着其他两则关于隐士的传说：

一则是有关庐山三将军洞的传说，讲的是秦始皇时期三位将军在庐山得道成仙的故事。《真仙宝鉴》中的一则记载：“秦时有武士十三人，弃官南游求仙。既至庐山，其十人者又去之豫章，惟唐健威、李德受、宋习云隐此洞（即后来的三将军洞）中不去，一夕雷雨，水哨沙成二溪，溪石有‘玉简天箓’，曰神化灵溪，玉简标题，真人受简，玉涧潜栖’，因名曰灵溪，三士后不知所终，乡人庙而祀之。”今天庐山山南麓金轮峰下的三将军洞即源于此传说。

第二则是关于三国时杏林董奉的传说。同治年间编纂的《南康府志》云：“三国时董奉卖药、种杏成林，奉字君异，侯官人，有道术，隐庐山，为人治病不受谢，惟令种杏一株，数年成林，杏熟易谷以济贫民，永嘉中化去，今庐山杏林乃其遗迹。”从这则传说可看出，董奉是一位身兼妙手回春之术和悲天悯人之心的神医、隐士，这则传说对后世影响深远，杏林一词及由此而来，并逐渐演化为中医的代称。

从上古至东汉末年，中国的历史经历了漫长的时期，中国的隐士文化在这一时期有了充足的发展。尤其是西汉末年，王莽篡汉，许多士人心怀汉室，拒绝为王莽政权服务，从而引发了我国隐士文化史上第一次大规模的退隐潮流。《后汉书逸民传》曰：“汉室中微，王莽篡位，士之蕴藉义愤甚矣。是时裂冠毁晃，相携持而去之者，盖不可胜数。”但这一时期见于记载的庐山隐士却參寥可数，之所以出现这种中国隐逸文化大潮不相称的情况，除了年长日久文献散佚的原因外，更主要地是与当时的政治经济背景有着莫大的关联。魏晋以前我国的政治经济中心在北方，士人也主要在北方活动，南方经济幵发程度不够，当时江南地广人稀”，生产耕作方式还停留于火耕水耨”的原始状态，庐山的情况更为荒凉，‘‘草木浅茂，虎豹纵横，即数里非数十人不可往。”

因此，从主观方面看，由于这里是荆越民族的聚居地，北方的文人士子将江南视为不通礼法、不晓教化的“蛮夷之地”而不愿前往；从客观情形看，隐居在这么一个山高林密，道路难行，且常有蛇虫虎豹出没的恶劣环境中，不仅生计艰难，而且还有性命之虞，故而令不少人望而却步。在主客观因素的综合作用下，我们就不难理解庐山隐士发展缓慢的原因了。

不过，到了魏晋南北朝时期，随着社会历史背景发生巨大变化，庐山隐士文化也步入了一个辉煌灿烂的时期。