有学者以为彭德怀罢官之由在于写信批评毛，这是肤浅之论。旁的不说，当事人之一的刘少奇本人就在七千人大会上表示反彭与他写信给毛无关。详细内容如下：
彭德怀同志在1959年庐山会议中间，写过一封信给毛。我们在庐山会议上进行了反对彭德怀同志的右倾机会主义反党集团的斗争。书面报告中说到，这场斗争是完全必要的。我们展开这场斗争是不是只是因为彭德怀同志写了这封信呢？不是的。仅仅从彭德怀同志的那封信的表面上来看，信中所说到的一些具体事情，不少还是符合事实的。一个政治局委员向中央的主席写一封信，即使信中有些意见是不对的，也并不算犯错误。问题不是彭德怀同志这封信写错了。问题不在这里。
庐山会议之所以要展开反彭德怀同志的反党集团的斗争，是由于长期以来彭德怀同志在党内有一个小集团，他参加了高岗饶漱石反党集团。在反对高、饶集团的时候，没有把他提出来。他是高、饶集团的余孽（毛、周恩来插话：是主要成员。）是这个集团的主要成员。所以，毛在庐山会议上说：到底高、饶联盟呢，还是高、彭联盟呢？恐怕应当是彭、高联盟。（毛插话：彭和高，实际上的领袖是彭。）更主要的不是高岗利用彭德怀，而是彭德怀利用高岗。他们两人都有国际背景，他们的反党活动，同某些人在中国搞颠覆活动有关。
彭德怀同志除了在庐山写了那封信以外，还有很多其他的背后活动。他在党中央进行派别活动，他阴谋篡党。所以，在庐山会议进行反对彭德怀反党集团的斗争是完全必要的，完全正确的。我们把隐藏在党内几十年的隐患揭发出来，把它清除，从长远讲，对于我们党是有重大历史意义的。
彭德怀同志那封信上所指责的一些事情，是党中央早就讲过的，而彭德怀同志在庐山会议以前，却一直不讲。两次郑州会议，武昌会议，上海会议，他都是参加的他都不讲。甚至庐山会议的初期，他也不讲。到庐山会议中间，他才把那封信拿出来，这是为什么呢？这是因为那个时候，我们已经讨论如何继续郑州会议的工作。进一步纠正我们工作中的缺点错误。在彭德怀同志看来，如果那个时候再不讲，以后就没有机会讲了。所以他急急忙忙地把那封信拿出来，企图利用我们工作中的缺点和错误，向党进攻，以便达到他个人和他的小集团的篡党的目的。
彭德怀同志想篡党，这就是庐山会议要展开那场斗争的根本原因。必须在这里把这一点说清楚，目的是把有些同志和彭德怀同志区别开来。有些同志也讲过一些同彭德怀讲过差不多的话，例如什么大炼钢铁'得不偿失'呀，什么食堂不好、供给制不好呀，人民公社办早了呀，等等。但是这些同志和彭德怀不一样，他们可以讲这些话，因为他们没有组织反党集团，没有要篡党。（毛插话：没有国际背景。）彭德怀同志带领我国军事代表团在国外走了几个月，回来以后就急急忙忙写了那封信，是有阴谋的。当然，不了解情况的同志，是看不清楚的。在庐山会议的时候，有些同志也看不清楚，那不能怪他们。

以上这些话在收入《刘选集》时被删除了。但整个事实的逻辑是很清楚的。毛开庐山会议主要是为了纠左，即大跃进时期的“共产风”等。左的错误主要责任在刘、邓，因为当时毛已退居二线，刘、邓他们是一线领导。彭德怀的信，矛头所向也主要是刘、邓，这是十分清楚的。只有读傻了书的人才会相信彭会越过刘邓，却挑战毛的权威。
毛纠左用意在于就事论事，纠正错误。而彭目的在于追究一线领导错误的责任，要调整班子，重新安排毛退居二线后，谁来接班的问题，这不能不招刘邓官僚集团之大忌。
彭德怀一案实际上还是高岗案的继续，即军功集团因为不满权力分配而向文官集团挑战（用党内语言来说是“白区党”、“红区党”）。这跟高岗案也如出一辙，在具体问题上毛同意挑战者的主张，但军功集团联合起来挑战文官集团，这一举动本身就超越了毛的底线。
在文革以前，毛始终认为这个班得由文官集团来接，不愿意交到军功集团手中，何况彭德怀与又苏联领导集团有着暧昧的关系--这更犯了毛的大忌。
所以他再次支持了刘。彭德怀想撤退，写捡查。毛的卫士回忆：庐山会议后期来了个大转折，有人要求毛把会开下去。这些人是谁？只怕不在少数。当时刘不干了，刘和很多各省内一把手都认为，彭德怀这个事就不能这么不了了之，批判斗争彭德怀。后来罗瑞卿的女儿有一篇文章说她爸对不起彭总，什么意思？是罗瑞卿打了彭德怀。若非毛的保护，彭只怕难以全身而退，高岗即为前鉴。毛若支持彭，则彭很可能成为林彪之先驱，即成为“副统帅”。但林彪军功集团当权时糟糕的治国水准，表明了毛弃彭保刘，不失为明智之举。至于官僚集团之后越来越拥有自己的独立意志，则不是任何人的力量所能阻挡的了。