袁世凯死后，黎元洪出任总统。1916年10月冯国璋被选为副总统，11月在南京宣布就职，仍兼江苏督军。冯国璋就职副总统后，便在南京设立副总统办事机构，并以国家元首的姿态公开接见中外记者，大谈治国方略，主张中国建设要渐次进行，反对国民党的激进方针，一时政治上颇为活跃。1917年初，江苏商民鉴于冯国璋坐镇南京，维护社会治安有功，便发动集资为冯国璋竖立“丰碑”；未几，江苏军界联合会闻知，亦愿加入发起，改为建立冯公生祠，取华符之“华”字名为“华园”，并拟铸造铜像。事为冯国璋所闻．他“恐为人所讥议，立即致函辞谢”，谓：“华园一事千万打消，如不能中断，请即改为劝工场，以利民生经济。”不久，将建华园和铸像之捐资建成贫民工厂和劝工场，此事一时传为美谈，并为冯国璋增添了几分光彩。不仅如此，冯国璋更以反帝制余孽面孔出现。段祺瑞出任国务总理后，将阁员名单派人送到南京请冯核准，冯一看名单上竟有曹汝霖，便对身边的人说：“这张名单我能同意吗？连帝制余孽也要当阁员了，太不象话了，芝泉（段祺瑞）真是胡闹呀，我准备把它退回去？”1917年2月，冯国璋赴京调解黎元洪与段祺瑞因对德断交而引起的“府院之争”。冯到京后，住在禁卫军司令部，整天忙于接见军政各界要人，发表个人对时局的看法，“欲求对外一致，不可不先求内政刷新”，一时赢得各界的好感。他还在中国大学以“教育救国”为题演讲，获得了师生的欢迎。3月，段祺瑞因不满国会和黎元洪的外交政策而辞职赴津，冯国璋受黎之托亲自赴津挽留，并与段联袂回京。冯见段刚愎自用，目中无人，最后表示无力调解。回南京后，冯国璋预料到段祺瑞必将对己不利，于是决定集聚实力，迎击段祺瑞的种种挑战。他联合江西督军李纯、湖北督军王占元，建立了“长江三督”势力，又竭力笼络各省军阀和英、美势力，从而伏下了未来的直皖之战。不久，黎元洪在美国公使“允为后盾”的支持下，断然下令免掉段祺瑞国务总理的职务。段愤然赴津，立即煽动“督军团”倒黎，于是皖系各省军阀在段的指挥下，纷纷独立，使黎进退两难。这时，冯国璋曾致电表示支持黎元洪，并建议由王士珍出来组阁。由于王士珍首鼠两端，害怕招致灾祸，一时没敢答应；段却趁机派其亲信徐树铮怂恿安徽督军张勋出面调停，且暗示使清逊帝溥仪复辟，结果黎氏受骗，解散国会，引出了一场复辟的丑剧。
1917年7月1日，张勋在北京复辟，黎元洪避入日本公使馆，致电南京请冯国璋代行总统职权，维护共和。冯国璋于7月3日通电全国指出：“国璋在前清时代，本非主张革命之人，……国璋今日之不赞成复辟，亦犹前之不主张革命，……彼（指张勋）恃京师为营窟，挟幼帝以居奇，手握主权，口含天宪，名器由其假借，度支供其虚糜，化文明为野蛮，委法律于草莽，此而可忍，何以国为!”第二天，冯国璋在军署接见英国领事时说：“中国政体已走上了共和。不容许再有皇帝，我可以告诉你们，我跟段总理都是站在反对地位的。”复辟敉平，冯国璋于14日致电“奉还大总统职权，请黎元洪复职”。黎愧于解散国会，故决心去职，致电冯国璋说：“惭魂虽化，枯骨犹生，黾载河间，奠我民国。”段祺瑞企图乘机使其亲信倪嗣冲接替冯国璋江苏督军之职，于是大施调虎离山之计，18日致电促冯北上就大总统之职，并派靳云鹏为专使赴南京迎冯国璋北上。靳对冯说：“段此次组阁表示必可听冯四哥的话，二人同心，其力断金！”冯深知段之野心，不为靳语所迷惑，断然拒绝段祺瑞的安排，并针锋相对地提出离宁条件：调其部下江西督军李纯为江苏督军，陈光远为江西督军，第十五、第十六师为总统卫队。靳致电段祺瑞报告，段则以吴光新、傅良佐为长江上游警备总司令兼四川查办使和湖南督军为交换条件，答应了冯的要求。冯国璋鉴于自己的势力在长江下游得以巩固，便于8月1日率第十六师抵达北京就职。
冯国璋进京后，先拜访黎元洪，再次力言劝其复职；又派内务部总长汤化龙为大总统代表，进宫答谢清廷对他荣升大总统的祝贺。随后，他便将王士珍、段祺瑞请进府来，叙“北洋三杰”之友谊。冯极为亲切地说：“咱们老兄弟三个连枝一体，不分总统、总理、总长，只求合力办事，从今而后再也不会有什么府院之争了。”冯把“府院一体，内外一心”的高调呼得山响。然而这仅是表面文章，冯国璋决不是第二个黎元洪。他是一个有军队、有地盘、有势力、有野心的不低于段祺瑞的实权人物，他决不象黎元洪那样甘心当“活动的盖印机器”。因此，冯国璋来京就职代大总统，无疑加深了冯段之间的矛盾，促进了北洋集团的分裂。段祺瑞刚愎自用，非常看不起冯国璋。冯国璋来北京前夕，段祺瑞听到冯用债券收买上海外商存土（鸦片），借制药为名，从中牟利的消息后，便对身边人说：“我与冯是旧友了，此君有个钱癖，固所深知。但以今日环境论，我绝不能反对，因小失大，致伤感情。且系苏省官绅合办，彼既事前未征求我的意见，我只好装作聋聩。”段祺瑞宣扬散布冯国璋有“钱癖”，并非无端攻击，冯国璋自保定发迹后，通过各种搜刮手段，已陆续聚敛了大量的财富，成为军阀、大地主和大资本家三位一体的典型人物。例如，他在原籍河间和阜城、兴济等地有土地3000余亩；在江苏与张謇合办盐垦公司。购地70万亩；在诗经村、天津、北京有房千余间；在直隶夹山、遵化、兴隆有3座金矿；在南京、北京、天津有10座钱庄和银号；并且在中华汇业银行和“北四行”均有大量股票和存款。尽管如此，仍不能满足其贪欲。当他走进总统府看到三海活蹦乱跳的鱼群时，却又动了心计，正好一个姓李的嬖人对其买好，进言说：“三海之鱼，自明清以来从未网罟过，如果打出卖给鱼商可值10万余元。”李某见冯犹豫不定，又说：“成文规定，三海鱼鸟花草历来是皇帝总统私产。”于是，冯国璋招鱼商捕之，议价8万元。从此，冯国璋落得贪婪名声，所以段祺瑞是很藐视他的。
段祺瑞上台后，以“再造共和”功臣自命，独揽军政大权，拒绝恢复《临时约法》和召开国会。于是孙中山以维护《临时约法》为号召，联络海军总长程壁光及西南军阀于1917年9月在广州建立了与北京政府对峙的护法军政府。段祺瑞面对此局势，立即决定对南方实行“武力统一”的军事讨伐。9月18日零陵镇守使刘建藩和驻衡阳湘军旅长林修梅通电宣布湖南“自主”。10月6日，护法战争首先在湖南爆发。正当段祺瑞全力对南方用兵之际，代大总统冯国璋却提出了与段祺瑞的“武力统一”对立的“和平统一”政策，即保持西南各省军阀割据现状，以换取他们对北京中央政权的承认，保持中国名义上的统一。冯为了贯彻他的“和平统一”政策，利用他直系军阀首领的地位，密遣其婿陈之骥赴湘，运动王汝贤、范国璋联名通电主和。于是王、范通电：“恳请大总统下令征求南北各省意见协议组织立法机关，议决根本大法，以垂永久而绝纷争……。”10月20日冯又指使“长江三督”联名提出停止湖南战争，撤回湖南督军傅良佐，改善内阁和调整倪嗣冲安武军驻防四项主张。段对南方战争彻底失败。12月25日，冯国璋发布“弭战布告”，要求南北两军“于军事上先得各方之结束，于政治上乃徐图统一之进行。”冯国璋的“和平统一”政策暂时占了上风。
段祺瑞虽然一度下野，但皖系实力仍存无损。因此段下台后，竭尽全力破坏冯的“和平统一”政策。首先拉拢直系内部主战派首领直隶督军曹锟于12月召开“天津会议”，煽动继续对南方用兵；同时，段还指示徐树铮勾结奉系军阀张作霖派兵入关，以威胁冯国璋。冯虽有十五师、十六师，却仍感力量单薄，而敷衍西南的“和平统一”政策因进行缓慢而无效果，致使护法战争于1918年1月中旬重新交火。段祺瑞的阴谋得逞，冯在北京陷于孤立。
