日子一天天过去，明军日夜轮番攻打，可每一次眼看就要攻下，又被倭寇打退，始终无法攻克岑港。大明朝廷逐渐失去了耐心，兵部不断发文催胡宗宪尽快攻陷岑港，胡宗宪、俞大猷等人压力山大。
这时戚继光已经基本肃清了外围的倭寇，他对岑港之战非常担忧，决定尽快返回岑港，援助明军主力。他手下将领纷纷反对，岑港现在是个是非之地，如不能在近期攻克，恐怕所有参战将领都会被朝廷处罚，我们被胡总督从岑港赶走，正好脱离了这个是非之地，如果现在赶回去岂不是自找麻烦。
戚继光却不为所动，他告诫这些将领，为了消灭倭寇，为了国家大义，何必计较这些个人得失，他下令军队立刻开拔，回援岑港。
但三千处州兵却不愿开拔，他们知道岑港现在就是个绞肉机，每天攻坚的明军死伤惨重，他们不想回去当炮灰，经过内部商议，他们找了几个领头的来和戚继光谈条件，要求戚继光承诺回到岑港不让他们参加攻坚战。
面对这些处州兵，戚继光深感无力，这已经不是第一次了，从雁门岭到岑港，每次作战以前，他们都要知道敌人的实力和人数，如果实力占优他们就会奋力作战，如果实力相当他们就要边打边看，如果实力不济，他们就装装样子，绝不会拼死出战，每次戚继光都要想尽办法做思想工作，劝说他们奋力杀敌，双方斗智斗勇，每打完一仗，都让戚继光筋疲力尽。
尽管在他的训练下，这些处州兵已经具备了很强的的战力，但从根子上来说还算不上是精锐之师，他们缺乏一种为国为民不怕牺牲的精神，毕竟这支军队是他从半路接手的，很多东西已经定型，即使是他也很难改变。
这次戚继光很爽快地答应了他们的条件，这让将士们有些意外，也有些担心，毕竟每次戚将军都会想尽各种办法让他们就范，他们也上了很多次当了，虽然每次都打赢了，但被人骗总是不爽的。但这次戚继光并没有打算哄骗他们，因为他全面分析岑港局势后，已经有了克敌制胜的办法，这个办法并不用将士们拿尸体去铺垫。
这一年秋季，戚继光回师岑港参加围攻，很不幸的是他刚回去没几天，就收到了嘉靖的圣旨：
浙江诸将作战不利，限期一月，必取岑港！如到期不克，自总兵以下，悉数撤职查办！
这下所有将领都着急了，他们去找胡宗宪，希望胡总督帮忙和上面说请，然而胡宗宪却连连摆手，愁眉苦脸地告诉他们，赶快打下岑港，不然我恐怕和你们要一起下台了。
只有戚继光泰然自若，他对胡宗宪和各位将领说，请把岑港之战的指挥权交给我，保证在限期之内把岑港交给你们。
如果是平时，大家可能会骂戚继光抢班夺权，你一个参将，上面还有好几级呢，那里轮得到你指手画脚。但现在这个总指挥就是个烫手山芋，所以没有人表示反对。
胡宗宪问道：“你有把握吗，限期不取当如何？”戚继光斩钉截铁地答道：“我当首罪！”说完戚继光又加了一句“但我有个条件，限期不至，任何人不得干涉我的决定。”胡宗宪看着从容自若的戚继光，若有所思，良久之后他点头同意。众将领都用感激的眼光看着戚继光，尤其是俞大猷，他甚至想拥抱一下戚继光以示感谢。就这样戚继光从俞大猷手中接过了前线总指挥这个烫手山芋。
但接下来几天戚继光的指挥让大家跌破眼镜，他既没有加强攻势，也没有什么奇思妙计，反而减少了攻势，后面干脆停止进攻，每天只让几个小兵在倭寇的要塞前面骂阵，还放开了海面的封锁，让水师回码头休整，只留少部分船只在海上监视敌军动态，摆出了一副打算慢慢耗死倭寇的架势。包括俞大猷在内的将领都急了，心想：戚大哥，你不知道限期一月吗，这时间那耗得起啊，你是打算拉我们一起垫背吗。他们纷纷找到胡宗宪，希望他给戚继光点儿压力。
胡宗宪也有点莫名其妙，他召来戚继光问他的计划，没想到戚继光给他买了个关子，还提醒胡总督别忘了当时我们说好的，限期不至，任何人不得干涉我的决定。胡宗宪被怼地无话可说，只好安慰自己，用人不疑，疑人不用。
期限越来越近，嘉靖知道了岑港现在的情况，勃然大怒，还没到一个月，就下令免去戚继光、俞大猷等人的官职，但毕竟还要靠这些人打仗，所以暂不追究，让他们戴罪立功。
俞大猷等人心急如焚，都免职了还暂不追究，看皇上这意思，如果岑港还打不下来，大家就要一起完蛋了。于是众人携手去找戚继光，说什么也要他给个说法。但他们却没找到戚继光，有人告诉他们戚继光去海上了，可把这些人急坏了，你不赶快攻打岑港，跑海上几个意思啊，难道你还能坐船进入岑港吗？但找不到人，他们也只能听天由命吧。
