陈果夫的顽固反共态度和彻底清共办法，使蒋介石对他刮目相看，想不到这位商业场上的老手，在政治上也如此干练，因此，对他更加重用。1926年7月13日，由蒋介石主持的国民党中央执行委员会常务会议作出决议，委任陈果夫为中央组织部代理部长。这次任命确实使陈果夫受到鼓舞，主管组织部，是国民党内多少人企望而不可得的肥缺，想不到蒋介石将如此大的权力授予他，因此，他更加卖力地为蒋介石工作。
陈立夫背离自己做矿业工程师的理想越来越远，而在蒋的国民政府内则越攀越高。陈果夫出任组织部长后，开始具体地实施“整理党务案”，他反共的第二步是办理党员重新登记，整顿国民党各级党部，对各级党部负责人进行更换，逐步将所有在国民党中的共产党人统统清除出去。在对各级党部进行整顿时，陈果夫采取了重点整顿与一般指导的办法，在国民党内全面展开。
重点整顿，是对广东省党部进行改组，因为广东是国民党中央所在地，陈果夫表面上搞所谓民主选举，实际上在暗中操纵，将三倍于执监委员的候选名单“推荐”给大会，并私下收买选票。结果，新选出来的广东省党部仅只保留了刘尔崧、彭湃、杨匏安三名共产党员，其余均为清一色的国民党右派分子。
对其他地方，陈果夫则采取视察与指导的办法。他将一些极端反共的国民党右派人物陆续派到各地担任指导工作，整理党务。如将段锡朋、郑异派往江西，萧铮、王宇春、葛武綮派往浙江，陈希豪派往上海。有些地方如湖南、湖北、安徽、江苏等省，当时没有派人去，但陈果夫都分别电令这些地方的党部派人到广州来听候指示，然后回去照此行事。还有些省市，陈果夫认为共产党力量太大，怕派人指导无济于事，便干脆将这些地方的党部强行改组，换上忠于蒋陈的国民党员。如贵州省党部改组后，即派张道藩前去主持；北京执行部改组后，即派吴铸人、童冠贤等人前往主持；绥远省党部改组后，即派纪亮等人前去主持；福建省党部改组后，即派丁超五前去主持等。每当这些人员出发上任时，陈果夫都亲自接见，进行训话，要他们抵达任所后，尽快将共产党人从各级党部驱除，切实负起“救党”责任。这些人到地方后，与当地反动军官、民团，地主勾结起来，压迫民众，解散农民自卫军和工人纠察队，对各级党部人员进行考核，排挤共产党人，逐步改变地方国民党的领导成分。
在整顿各级党部的同时，陈果夫指令各地对国民党员办理重新登记，根据他的旨意，各地均按以下规定办理：
（一）全部党员应在中央命令组织之党部重新登记。
（二）登记机关指定省党部，特别市党部、县党部、市党部。
（三）登记时间为三个月，但海外登记时间由海外党部另行规定之。
（四）登记表格除原有之各项外，须特别声明愿遵守建国方略、建国大纲、三民主义，第一次、第二次全国代表大会宣言及决议案。
（五）曾经加入本党所否认之政治团体，登记时须特别声明与该政治团体脱离关系。
这些规定中，陈果夫特别强调最重要的是第四，第五两条，这两条中特别是第四条，从字面看来，堂而皇之，无可指责，但实际上，陈果夫是要求所有国民党员必须拥护以蒋介石为首的国民党新右派，遵守他们制定的一系列旨在维护蒋介石的独裁、控制党员的所谓纪律。第五条更是赤裸裸地要求国民党员反对共产党、排斥共产党、宣布与共产党脱离关系。1926年9月，在陈果夫的建议下，国民党中央还公布了《国民政府党员违背誓言罪条例》，规定“党员图谋反革命内乱者，不分既遂、未遂，一律处死刑”，“在职党员违背党义而犯罪者，永远除名党籍”，“知党员犯罪而不举发者，常人依违警法处罚，党员以从犯论”。
陈果夫所采取的这些措施，不但使共产党人在国民党中的地位受到限制，而且逐步孤立、打击了共产党，使共产党处于完全被动的地位。对陈果夫的反共行为，多数共产党员坚决反对，一些国民党左派人士也十分反感，甚至陈果夫派到各地的一些心腹大员也有人表示不满，如派到浙江的王宇春就参加了共产党，派到西北的郭春涛也随冯玉祥一去不返。共产党人和国民党左派还自下而上地发出了“打倒新军阀、提高党权”的号召，在上海、广州、武汉等地形成了普遍提高党权，反对独裁的运动。
但由于共产党主要领导人陈独秀执行右倾投降主义，又一次妥协，完全接受了这些限制，屈从国民党新右派的意志，使陈果夫的反共计划一步步得逞，并成为以后大规模清党运动的先导。
在陈果夫将在国民党各级党部任主要职务的共产党员驱走之后，国民党本身腐败、无能、缺乏人才等弊病就充分暴露出来，组织发展停滞了，在群众中的威望顿落千丈，官僚作风、军阀作风，贪污现象、腐化行为充斥于各级党部，原来那种生机勃勃的革命气象沉寂下去，这个问题十分严峻地提到了国民党当权者面前。
这时，蒋介石新右派还羽毛未丰，他们还不能完全控制国民党，而且，北洋军阀还没有搞掉，他们必须有自己的人才。陈果夫对这一问题考虑得比较深刻，他认为清除共产党后，必须充实国民党的力量，而要充实国民党的力量，必须花力气培养新的人才。基于这一想法，他提出了开办“党政训练所”，以培养国民党各级党政干部的建议，他不辞劳苦，昼思夜想，亲自拟定了《党政训练所设置办法》，提请国民党中央核准。陈果夫的建议得到蒋介石的嘉许，蒋从人力、物力、财力等各方面予以大力支持，并任命他为党政训练所所长。
陈家失势后，蒋介石总在责怪中。他不曾想就是陈立夫在这次下野中的一句话，为他扭转了乾坤。有了蒋介石的支持，陈果夫更是卖力地进行张罗，他对校址的选择、师资的配备、学生的招考等方面都亲自过问，十分仔细。经过一段时间的紧张筹备，“党政训练所”终于开学了。第一期招收学员100多人，大都是经过陈果夫精心挑选而来的。为了提高教学质量，陈果夫规定了极为严格的纪律，学生学习、生活全部实行军事化行动，所学课程也是陈果夫亲自选定，内容多为蒋介石等人的讲话、国民党的党义和章程等。陈果夫还嫌不够，时常亲临训练所给学生讲课，他踌躇满志，一心要把这100多人培养成国民党中的骨干。
但落花有意、流水无情，由于工农革命运动的影响，由于共产党人的细致工作，不到一个月，党政训练所学生内部就发生了分化，大部分学生开始趋向进步、趋向革命。一些学生白天听陈果夫的课，晚上就秘密传阅进步刊物，学习共产党人写的文章，学习马克思主义的小册子，暗中宣传共产党的主张，反对陈果夫的专制教育，甚至还有少数人秘密参加了共产党。
陈果夫发现这种情况后，气急败坏，他派出一些心腹暗中进行调查，结果，查出12名特别突出的学生，便认准他们是共产党分子，学生中的分化肯定是他们从中作祟。于是，陈果夫毫不犹豫地“以思想行为不检的理由公布开除”，他以为这样一来，学生害怕了，就会循规蹈矩，再也不敢越雷池一步。
但事与愿违，陈果夫越是压制，学生对共产党，对马克思主义的兴趣越是浓厚，他们照样看马克思主义的书，照样接近共产党，后来竟发展为学生风潮。事情闹大后，陈果夫干脆撕破脸皮，请广州公安局长李章达派军警前来镇压。李章达为陈果夫旧时的同学，辛亥革命时曾共过患难，开始碍于面子，尚能协助解决。后来，李章达在共产党人杨匏安的影响下，也对陈果夫的专制教育不满，转而同情学生。当第二次学生风潮再起时，无论陈果夫怎么求助，李章达根本不理睬了。陈果夫无奈，只好无限制地开除学生，“经过两次风潮以后，开除的学生竞达半数”。越是开除学生，越是激起学生的不满，他们再也不愿花精力去读蒋介石的讲话、国民党章程之类的东西，陈果夫没有任何办法，只好大大缩短了学习时间，草草结束了这期训练班，然后将这几十号人派往甘肃、福建、北京、南京等地工作。
这些学生到各地后，依然有很多人同情共产党，积极参加大革命运动，为国民革命作出了贡献。当然，也有一些人在陈果夫反共教育的熏陶下，成为顽固的反共分子，后来，在蒋介石背叛革命、反共清党的逆流中，成为国民党右派骨干。
这期学生毕业后，陈果夫的党政训练所也就无法继续开办下去了，只好在长吁短叹中黯然收场。为谋叛变离武汉
1925至1926年上半年，国民革命的力量得到迅速发展，广大工农群众和爱国人民，迫切要求国民革命军出师北伐，以结束北洋军阀的黑暗统治。陈果夫、陈立夫也主张北伐，而且革命言词激烈，实际上他们抱有通过北伐，进一步扩大以蒋介石为首的国民党新右派权势的野心。1926年7月4日，国民党中央执行委员会发表《为国民革命军出师宣言》，揭示了北伐的目的、性质和意义，宣布“帝国主义者及卖国军阀实为和平统一之障碍，为革命势力之仇敌”，因此，北伐就是要打倒帝国主义及卖国军阀。7月9日，国民革命军在广州举行誓师大会，北伐战争正式开始。
北伐战争开始后，在广大人民的支持下，不到半年，国民革命军就消灭了数倍于己的吴佩孚、孙传芳的北洋军队，革命势力席卷大半个中国，震撼了帝国主义及封建军阀在中国的统治，使全国形势由原来的北洋军阀一统天下、革命势力偏居一隅的局面，转为国民党领导的南方势力与奉系军阀北方统治南北对峙的态势，军阀势力已是江河日下。
在大好的革命形势下，帝国主义加强了对中国革命的干涉，他们开始在革命势力内部寻找代理人，这就使革命统一战线发生分化，其内部的斗争也日趋激烈。矛盾首先在迁都问题上爆发出来。
当北伐军攻克武昌、南昌，占领长江流域的广大地区后，国民政府和国民党中央从广州迁往武汉就成为形势发展的必然，此时，蒋介石也力主迁都武汉。基于这种情况，1926年11月26日，国民党中央召开政治会议，决定迁都武汉。但后来，蒋介石看到两湖地区工农运动日益高涨，革命出现生机勃勃的局面，便考虑在国民党左派和共产党人共同掌握武汉革命政权的情况下，他的各种反革命阴谋是难以实现的。因此，蒋介石便一反前言，提出迁都南昌，反对迁都武汉的主张。
这时，陈果夫刚从上海秘密来到南昌，与其弟陈立夫一起，不离蒋介石的左右，他们与张群、张静江等右派抱成一团，积极为蒋介石反共出谋划策。他们极力赞成蒋介石迁都南昌的主张，并为其大造舆论。
为了帮助蒋介石扩充势力，二陈以各种办法，将一些拥护蒋介石的人拉进国民党内。如1927年2月，陈果夫介绍陈布雷加入国民党，陈布雷即为蒋介石起草了《告黄埔同学书》，为蒋的派系斗争服务。随后，陈果夫又介绍潘公展加入国民党，并将潘与陈布雷派往上海，为迁都南昌、反对共产党制造舆论。当时，共产党员蒋先云也在陈立夫手下的秘书处工作，蒋先云是黄埔一期学生，是一个十分优秀的人才，由于是共产党员，陈立夫总是千方百计排挤他。蒋先云也不肯让步，每天晚上，二人同睡一室，总是就三民主义、共产主义谁优谁劣进行争论。后来，陈立夫竟直接向蒋介石汇报，诬蒋先云偷窃文件，引起蒋介石注意。不久，蒋介石免掉蒋先云机要秘书的职务。
1912年，孙中山就任中华民国大总统，上海各界欢送孙先生赴南京就职。二陈兄弟还分析了全国的革命形势及南昌在全国政治经济中的地位，并为蒋介石描绘了一幅发动反革命政变、一统天下的“美好”前景。他们认为，南昌虽然地理位置较为中心，但经济并不发达，政治上也难以号召国人，将来发动政变应在经济发达的上海，而南昌只能是目前反对迁都武汉的一个筹码，迁都南昌也只是权宜之计。二陈描绘的蓝图果然吸引了蒋介石，他要二陈将注意力放在上海，为将来在上海发动政变作准备。有了蒋介石的旨意，二陈便加紧在上海进行政变的准备。他们代蒋密电上海，要陈布雷、潘公展、虞洽卿一起秘密到南昌见蒋，会商北伐军占领上海后的有关党政军和涉外事宜的部署，计议策划反共清党。
有了这些秘密的准备，蒋介石在迁都问题上的态度更加强硬，在陈果夫、陈立夫的帮助下，蒋介石违背中央决议，以阴谋手段截留了途经南昌准备去武汉的第二批国民党中央委员和国民政府委员，其中包括代理国民政府主席谭延闿、代理国民党中常会主席张静江等，并于1927年1月3日在南昌召开所谓政治会议第六次临时会议，非法决定“中央党部与国民政府暂驻南昌”。蒋介石的目的就是要凭借军事力量，把国民党中央和国民政府掌握在自己手中，造成在南昌发号施令，压制武汉的局面，进而发动政变，夺取革命的最高权力。
蒋介石的无理决定，受到了武汉国民党左派和共产党人的坚决抵制，他们一致要求“中央党部及国民政府，照既定策略来鄂”。同时，为了缓和南昌与武汉的矛盾，武汉方面于1月26日决定派何香凝、顾孟余、邓演达三人去南昌，敦促在赣的中央委员来汉。何香凝等到南昌后，分别找各位中央委员做工作，要求他们为了北伐的最后胜利，能顾全大局，迅速去汉。在形势的压力下，滞留在南昌的委员们也表示拥护中央的决定，迁都武汉，并表示克日赴汉。
代理国民政府主席谭延闿首先表示愿意尽快赴汉，他还主动做陈果夫的工作，他知道陈果夫与蒋介石的特殊关系，如果陈果夫的思想通了，对蒋介石的态度会发生重大影响。谭延闿认为，在武汉，共产党人和鲍罗廷并不能起很大的作用，是“蒋先生看得太严重了”，武汉还是国民党的天下，他希望陈果夫与他一起去武汉。
此时，陈果夫为专门对付共产党，为蒋介石在上海发动反革命政变做准备，已于2月10日辞去国民党中央代理组织部长一职，改任国民党中央政治设计局筹备委员、政治会议上海分会委员。为完成反共大业，他时刻注视着武汉方面的情况，也很想到武汉去走走，观望一下武汉的形势，但他不敢自作主张，即向蒋介石请示，并提出了去武汉的理由。他认为要与武汉方面作对，一定要摸清对方的虚实，掌握对方的情况，而在南昌隔岸观火，是弄不清楚的，应该到武汉去看一看。蒋介石十分赞成陈果夫的看法，同意了他去武汉的请求，派他随谭延闿等一起赴汉。
