相比于历史上的名声，吕留良的事迹似乎显得少了些，一般人知道的，也就是武侠小说或是民间传说中充满了传奇色彩的吕留良，比如死后几十年被开棺戮尸时面目如生，甚至在脸上覆一块“重见天日”的白色丝巾。至于他的女儿吕四娘身负绝世武功，潜入皇宫砍下雍正之头为父报仇，更是流传甚广。这样的离奇曲折、跌宕起伏大概不是吕留良所期望的，他的一生中多次想真正地隐居起来，因为他是以一个彻底而清醒的遗民自居的。

　　遗民大概是中国封建社会特有的一种特殊人物，每当改朝换代，总会有一批遗民出现，以致史书上专门为遗民立传。也许在历代读书人心目中，遗民是挺高尚挺光荣的，但事实上，做一个遗民也是很不容易的。旧朝无可奈何花落去，新朝病树前头万木春，这是理想的破灭；饱读诗书满腹经纶，却只能老死荒山野村，无法一展身手，这是功名的诱惑；自己为忠贞献身倒也罢了，子孙却跟着永世不得翻身，这是后代的抱怨。更为现实的是，一个四体不勤五谷不分的读书人，如果坚持与当局决裂，就意味着穷困潦倒、生计无着，这是谁也无法躲避的难堪。所以，历史上许多有名的遗民，在坚持了十年、几十年后，最后往往是半推半就、羞羞答答地与官府眉来眼去，或是做官员的座上客，或是让子孙博个功名，甚至亲自上科场的也为数不少。

　　而吕留良让人佩服的也正是这里。他自明亡之后，先是参与武装抗清，反清复明的希望彻底破灭之后，他硬是坚持做一个彻头彻尾的铁杆的明朝遗民。不做官、不上科场，甚至以削发出家来对抗官府的拉拢。面对“西山薇蕨吃精光”的窘境，他走的是一条自食其力的路，这虽为当时的知识分子们看不起，却终究是免却了晚节不保的尴尬。以现在的眼光看，吕留良可以说是集教师、艺人、出版商、医生四位于一体的自由职业者。他开帐授徒，一方面传播自己的思想，一方面也补贴家用。他出售书画，与几位同好组成了一个小团体，共同订立了诗、书、画的润格，还写下了一篇有名的《卖艺文》。他精通医术，用药以奇险著称，后人将吕留良的经典药方编成《东庄医案》，其中18个方子还入了《四库全书》，可见其医术之高。更有意思的是，对科举唯恐避之不及的吕留良，竟成了当时的“选学名家”。从顺治十一年到康熙十三年近20年时间里，他在南京等地出版发售自己评选的八股文，一时洛阳纸贵，成了实实在在的畅销书。他的《程墨观略》、《大题观略》等书，在南京随印随发，以至于苏州、杭州、芜湖、宁国等地专门到南京来购买。许多举子以自己的文章能被收进吕留良的评点文集而为荣，更有人因自己的文章没被收录而专门写信给吕留良表示委屈。即使在吕留良停止评点后，他的时文选评仍有着极大的号召力，以至于吕留良把他儿子评点的时文，冠以“吕晚村评点”之名刊行于世，这当然不无傍名牌之嫌，但“吕氏选学”名头之响可见一斑。贩卖“时艺”无论在什么时代都不是很光彩的事，有人认为吕留良是以评选八股文来表达自己的反清思想，这可能是求之过深了，无论如何，要在陈腐的八股文中表达反对当局的言论并且还要畅销，只能是一件不可能完成的任务。其实，以一个成功的书商来维持作为知识分子的独立人格，也是吕留良的伟大之处。

　　吕留良与黄宗羲由挚友到绝交，是清初士林中一件不大不小的公案。这件事说起来颇有点滑稽。绍兴的藏书家祁彪佳因反清而投水自尽，家破人亡，其藏书楼澹生堂的书也被变卖。黄宗羲得知消息，鼓动好朋友吕留良一起去买书。吕留良钱多，买了三千多部，黄宗羲钱少，只买了二百多部。但黄宗羲学问高、眼光毒，本本都是精品善本，而吕留良的书却大为逊色。吕留良心里气不过，就在回来的路上，让他的仆人从黄宗羲那里偷了《礼记集说》、《东都事略》这两本最珍贵的书。两人从此割袍断义，不再来往。这个故事显然附会之处很多，经不起仔细推敲，以黄宗羲、吕留良这样的学问、这样的身份、这样的交情，竟然为了两本书而翻脸，就是编电视剧也会被人笑话。其实，澹生堂事件只是一个导火索，绝交的真正原因恐怕是吕留良对黄宗羲晚节的不满。黄宗羲也是以遗民自居，但后来对清廷采取了妥协的态度。他自己虽然不做官，但和朝中贵人多有私下的来往，包括到大官府上去做家庭老师之类。在他的文章中，也开始把清朝称为“国朝”，把清军称为“王师”，誉康熙帝为“圣天子”。对此，黄宗羲辩解说：“陶靖节不肯屈身异代，而江州之酒，始安之钱，不能拒也。”连陶渊明这样的大隐士，也不曾拒绝江州刺史赠的酒、始安太守送的钱啊。吕留良对此大为反感，写诗讽刺黄宗羲是“顿首复顿首，尻高肩压肘。俯问此何人？墨胎孤竹后”。黄宗羲比较现实，这样做也是委曲求全，无可厚非，吕留良竟因此而与挚友绝交，只能说吕留良的遗民之志太坚定太纯洁了。