作为1959年庐山会议当事人的周惠(时任湖南省委副书记)回忆，彭老总头上有三顶帽子，“右倾机会主义”、“里通外国”、“军事俱乐部”。“右倾机会主义”，主要是他的那封信和张闻天的发言引起的;“里通外国”，主要是随同彭出访苏联、东欧的军事代表团中的一位上将的揭发，再加上几位元帅的揭发招来的;“军事俱乐部”，很大程度就要归功于李锐，没有他的揭发，这顶帽子也戴不上。

事实上，某些人在庐山会议上之所以要打倒彭老总，他信中的批评言论只是一个导火索，关键是要利用彭和苏联的某种暧昧、彭高此前的联系和所谓的小集团来打倒彭。彭倒了之后，他信中那些刺激性的言论反倒不重要了。这正是刘少奇在1962年七千人大会上提及彭的错误时，绝口不提“右倾机会主义”，甚至还肯定彭信内容的奥秘所在。毛主席离世之后，关于庐山会议，真话只说一半，反复强调彭老总的犯颜直谏，和他信中批评言论的正确性，而隐去了那些一线同志们的不依不饶。这种犹抱琵琶半遮面的做法，遮蔽了历史真相，误导世人的效果出奇地好。事实上，历史的当事人，心里都清楚，并不是毛主席非要整彭老总，相反毛主席还尽力想办法保护彭老总，事情走到那一步，毛主席也有很多的无奈啊。

在8月2日之后，再次升级的会议上，毛主席说了这么一些话：“你不交心。一个心交，一个心不交。人们只看到你简单、坦率、心直口快，初交只看到这一面。久了，就从现象看本质。弯弯曲曲，内心深处不见人。”“你跟人的关系搞不好，10个元帅，除自己外，都对你有意见，工作怎能做好?”“我66岁，你61岁。我快死了。许多同志有恐慌感，难对付你。很多同志有此顾虑。”那么，我们不禁要问，毛主席为什么要用“对付”一词，来形容某些人面对彭老总时的为难?这些同志恐慌什么?顾虑什么呢?他们在庐山会议上如何表现呢?我们可以看一看其他人对彭老总的批判：周总理在常委会上说：“方向是对总路线进攻，站在右倾立场，信的锋芒指向总路线。”　“庐山会议前彭德怀率军事代表团到苏联和东欧一些国家访问，在苏联时，赫鲁晓夫利用会见彭德怀的机会批判中共，但是，彭德怀当时没有把赫鲁晓夫这些批判给顶回去，回国后彭德怀也没有汇报此事。同他一起去访问的，肖华上将，回国以后，给党中央和中央军委作了汇报。”“在去庐山开会的火车上，彭德怀对康生等说，我们大跃进的缺点，他也做了调查，搞不好我们也得请苏联红军来帮助我们。”

当时的国际背景还有，中苏关系已经全面紧张， 6月20日，赫鲁晓夫撕毁中苏之间的核援助协定，作为美苏戴维营会议的献礼;7月18日，赫鲁晓夫在波兰对中国的公社化运动进行了不点名的批评。彭老总又是访问东欧七国之后立即上山的，他也在会上批评了三面红旗。时间的重叠性、人物的关联性、批评内容的一致性，诸多的巧合，全部汇聚在一起，很难不让人多想。与之形成鲜明对比的是，“庐山会议期间，北京只留下陈毅同志留守，陈毅对苏联驻中国大使尤金讲，我们中央同志都上山开会啦，北京就剩下我一人了。也不知道是出于开玩笑，还是有意试探，尤金说，那你可以搞政变了。”陈毅当天晚上向中央发电报，汇报了这一情况。

8月4日的会，是少奇同志主持的，之后少奇同志还主持了多次会议。这个会上，林彪第一个发言，长篇大论地指责彭，占了一大半时间。在前几天的常委会上，林发言说彭是野心家、阴谋家、伪君子，说彭有自己的一套纲领、路线，独断专行，攻击主席，用心很深。庐山会议上，林虽然澄清了1935年会理会议前，他那封现在尽走弓背路，请彭老总具体负责军事工作的信，与彭没什么关系，是他自己写的，但这次会上抨击彭老总很猛，他的发言甚至成了以后定性的基调。而在更早的时候，少奇同志在讨论“意见书”时，是这么评价的：彭德怀是魏延的骨头，朱可夫的党性，冯玉祥的作风。你彭德怀是一个一贯反党的伪君子，企图搞军事政变!这几句话，每一句分量都很重。

据地质学院的王大宾回忆，那十年中，彭老总曾对前来揪斗他的红卫兵说，他在1959年庐山会议时就对刘的一些做法表示了反对。他还提到：“刘少奇怕我对他当接班人不利，借机打倒我。”而彭老总倒台后，他在军队里的位置由林接替;而刘邓等也暂时再无对手，毕竟高饶的批薄射刘、讨安伐刘主要都是针对少奇同志的，而彭老总是“彭高联盟”，“以彭为主”，其倒台，对刘而言，无疑是一件大好事。

庐山会议上，还有个小插曲，田家英、胡乔木、吴冷西等秀才们因为接近毛主席，此前应毛主席的要求，参与过一些调查，是比较实事求是的，当彭老总的信受到责难时，秀才们对彭老总是同情和支持的，并且因为他们一直积极参与“纠左”，与地方大员是发生过冲突的。典型比如田家英，他率队在成都新繁大丰公社搞试验田种水稻，选最好的土地和良种，用最好的田间管理，施最好的肥料，结果不过每亩单产五百多斤。由于他们扎根基层，当地的干部群众和劳模都对他们说了实话，当地实际亩产还不如他们的试验田，那些亩产几千斤甚至上万斤的卫星都是假的。田家英带着这份调研报告上了庐山，搞得四川的李井泉很被动。这时候，大员们借批彭趁机向秀才发难，是毛主席将他们保了下来，下“停战令”，对“秀才”们挂“免战牌”，不允许再批秀才。虽然激烈的批评免了，但事后秀才们还是被彭真集中到少奇办公室，接受批评教育，被迫写检讨书，以免于更严厉的处罚。

事实上毛主席对8月召开的批判彭老总的会议是不满意的，所以他很少去参加会议。1966年10月毛主席讲话中还说：“五九年八月庐山会议我是不满意的，尽是他们说了算，弄得我是没有办法的。”彭老总从信公开之后，面对各种质疑和后来越来越严厉的审查时，采取了一些很不恰当的态度和行为，也激化了矛盾。例如，他剃了光头、开会时坐在最后一排，拒绝毛主席要与他谈话的邀请，并说“华北座谈会操我40天娘，我操你20天娘，还操不得?”在政治局常委集体找彭总谈话时，他严厉地拒绝了大家的批评，采取谁批评他他就骂谁的态度，当然也包括毛主席在内。彭的这些行为和态度彻底惹了众怒，最终导致了他的悲剧。当批彭成为党内共识时，庐山会议的性质也从原本的“反左”转向了“反右”，毛主席自1958年10月开始的纠“左”进程也因此被迫中断。这一转变不仅对彭总个人造成了深远的影响，也在很大程度上影响了党和国家事业的发展。庐山会议是在“左”倾错误所造成严重困难的情况下，需要全党团结带领人民渡过难关时召开的，当时的形势需要，党内不能分裂折腾，毛主席从大局出发，以求加强党内团结，稳定全国形势，无奈采取了折衷办法，批了彭黄张周等人。

1965年10月毛泽东又着手安排彭老总出来工作，担任大三线副总指挥。谈话时，刘邓在旁。毛主席说了这么几句话，“将来还可带一点兵去打仗，以便恢复名誉”，“也许真理在你那边”，“彭去西南，这是党的政策，如果有人不同意时，要他同我来谈”，“为什么一个人犯了错误，一定要否定一切呢”。这个时候，毛主席为什么要特意强调，“如果有人不同意”呢?毛主席襟怀坦荡，光明磊落。心里始终装的是中国人民的根本利益，他一再告诫全党：要团结不要分裂，要光明正大，不要搞阴谋诡计。这就是毛主席啊!