可惜的是，服部正重时运不济。他虽然在服部半藏正成死后，继承了正成8000石俸禄中的3000石，并在1605年之后也继承了“伊贺同心组”组头的官职，但在1612年发生的大久保长安事件中，服部正重因为妻子娘家大久保氏涉嫌贪污叛乱而遭到株连，虽未受到流放的处罚，但最后还是被德川幕府贬为浪人平民。
历经三代服部半藏，服部家因为这样或那样的原因，逐渐走向了衰败。虽然表面上是因为一系列的政治关系，而实际上，最大忍者家族——服部家的败落，也预示了忍者未来的结局。
事实也正是如此，忍者失去了战争的土壤，也就失去了发展，从而走向了衰败。
忍者权力的转移，大目付的建立
德川家康建立江户幕府后，政治结构逐渐改变，此时已与战国时代大名的政治状况大相径庭。基于这个因素，再加上服部半藏正成逝世后，家康对服部家后辈能力的不满，曾经的忍者家族权力已开始慢慢转移为政府机构权力。然而经历“平生第一艰难之事”伊贺越的家康，对忍者始终还是抱有深厚情谊的。所以他并没有彻底地将忍者机构改革——即使服部家后人远不如正成，但依旧让他们领导伊贺同心组。
但是，到了德川家光时代后，忍者地位就彻彻底底地改变了。
1632年，德川秀忠逝世，德川家光成为第三代德川幕府将军。他执政后，解除了家康建立的二元政治，并将幕府的现职将军定为最高权力者。此外，他还确立了老中、若年寄、奉行、大目付的制度。
而其中大目付制度的建立，改变了忍者的地位。
如果说之前因为服部半藏正成的原因，渡来人后裔——忍者终于改变了生来地位低下的状况，并使得社会地位有所提升的话，那么大目付制度的建立，就又让忍者回归到了曾经卑微的地位。虽然大目付制度与伊贺同心组都是以监视大名诸侯是否谋反幕府的谍报工作为主，但在结构上，忍者已完全失去了领导者的地位，大目付这一官职，完全由江户幕府指定高官来就任，忍者转为了最普通的情报人员，成为“草”。
初代大目付是由著名的剑豪政治家柳生宗矩担任的。
柳生宗矩，是1565年从剑圣上泉信纲处得到了新阴流剑术的印可状的剑豪——柳生宗严（石舟斋）的第五个儿子。因为丰臣秀吉实施太合检地时，柳生氏被查出有隐匿不报的私田而导致柳生氏的领地被没收，1594年他与父亲柳生宗严同时前往江户仕奉德川家康。而后因为父子俩于1600年在关原之战中立功，因而柳生氏得以恢复大和国柳生庄二千石的领地。
1601年之后，柳生宗矩因其高超的剑术，成了第二代将军德川秀忠的剑术指导老师，此后亦以剑术教练的身份侍奉第三代将军德川家光。1615年大阪之战时随将军秀忠一同出兵，守护在秀忠的身旁。隔年1616年参与了阪崎直盛反乱未遂事件的交涉与处置。
正是这些原因，将军对他的信任逐渐加深，在1629年他受封从五位下但马守的官职。1632年担任第一代的幕府大目付一职。1636年，这位大剑豪因累计加增的领地已达1万石而得以位列大名，在大和国成为柳生藩初代藩主。晚年仍持续受恩赏，官阶晋升至从四位下，领地达12500石。
论各方面的能力，柳生宗矩在政治谋略上的造诣和贡献要远远大于其在剑术上的造诣，第三代幕府将军德川家光在计策上有疑问时都会去询问他。正因为柳生宗矩深受家光的宠信，才让他担任初代大目付，负责各国大名的监视任务。
柳生宗矩的长子，许多人都不会感到陌生，他正是著名的剑豪柳生十兵卫。有关柳生十兵卫的传闻数不胜数，例如著名的独眼传闻等。而在所有传闻中最有意思的是，柳生十兵卫也是一个忍者。
1631年，当柳生十兵卫已经被认为是柳生家族最强的剑客的时候，他突然被幕府以“莫须有”的理由给开除了。这有可能是因为十兵卫的大胆和傲慢，也有可能是因为他想做武者修行的决定。之后他的下落在12年间不为人知，仿佛蒸发掉一样。即使是柳生家族丰富而详细的秘密记录，在这12年里也没有关于十兵卫的记载。柳生十兵卫在他36岁的时候重新现世，在这之后，十兵卫重新上任，担任御所印判并控制着他父亲柳生宗矩的领地。
由于柳生十兵卫的失踪以及没有关于他下落的文献记载，他的经历引起了人们的好奇和猜测，然后这段空白的人生在很多流行小说中被浪漫化。柳生十兵卫虽然是一名武士，但是在流行文化中偶尔也会被描述成具有忍者的特征。而这种说法也不是空穴来风，很多学者认为，在他人生中消失的那12年，他很可能是隐藏自己的身份，并秘密地为天皇做一些事情。而在许多日本人的印象中，柳生十兵卫几乎被描绘成老百姓的英雄。因此基本上所有关于他的作品里都至少都会有这样的一个场景：在当时等级森严的时代，柳生十兵卫以剑术从过度骄纵的武士手中拯救无辜农民。而一般这个桥段，又是没落忍者们经常上演的。
虽然柳生十兵卫富有一定英雄色彩，但是考虑到当时的阶级制度，对于十兵卫这样一个属于武士阶层的人来说，这种英雄色彩并不太适合他的身份。因此针对人们对十兵卫的这种印象是如何产生的就有了很多推测，要么确实就是十兵卫真人真事，要么就是作家和电影制片人为了让十兵卫更英雄化而导致的，要么出身战国乡绅的柳生十兵卫，本身就是一名忍者。
一代英主的幕府中兴
这一切都要从江户幕府第八代将军德川吉宗说起。
德川吉宗，1684年11月27日出生于和歌山城若山吹上屋敷，幼名源六，10岁改名新之助，纪伊藩藩主第四子。担任越前国丹生3万石藩主时开展藩政改革，积累深厚的财政经验，广受好评。长兄去世后，回归自己的本家纪伊藩继承藩主。1716年将军家绝嗣，以贤侯身份继任将军职。以后，借鉴先前在大小两藩的藩政经验，开始实行享保改革。在位期间奖励武艺并奉行俭约风尚，开发新田，允许输入与天主教有关的外国书籍。他最大的功绩在于稳定了米价，从而使社会呈现稳定的局面，百姓赠给他“米将军”（又称“八木将军”）的雅号，堪称幕府中兴的一代英主。
吉宗一直认为，曾祖父家康时的幕府是最自律、最高效的。勇猛顽强的三河武士们在战场上磨炼出了高度的组织性和纪律性，这些优点是现在那些靠祖辈的功绩得以耀武扬威的官僚们不能与之相比的。现在的国家，从江户到各藩，武备松懈，机构臃肿膨胀，官绅勾结。针对这种状况，吉宗加强了幕府军队训练的强度，在关东平原和富士山区进行了几次大规模的军事演习和以军事训练为目的的狩猎。此外，他还增加了日本沿海地区的守备以强化锁国。他不喜欢前任几个将军的那种凡事都以儒家经典为依据的执政方针，他以为幕府本来就应该像个武人的政权，切合实际，办事果断迅速，就像当年德川家康时那样。也许正因为他一切向德川家康看齐的风格，德川吉宗对同样以实际为出发、行动果断的忍者也是充满好感。
于是，自忍者从家族团体归于幕府机构之后，忍者所担任的最高官职“御庭番”就孕育而生了。
御庭番，或称御庭番众。是德川吉宗身边直属的忍者密探，精选一批能力高强的忍者组成。御庭番主要的工作是隐藏在幕府将军、大名城里或居家附近，负责保护、警戒、侦察的工作。而设立御庭番的最深层的原因，还是在于德川吉宗对于自己出身的考虑。吉宗并不是德川家的直嗣，而是德川家的纪州支流。为了确保今后德川吉宗可以世世代代继承将军，将军直属的御庭番可以随时侦察图谋对德川纪州支流的政局不利的大名与贵族，并将重要情报与动向随时提供给将军。这种设置实际上强化了将军手中的实权，为幕府的专制统治提供了保障。
家康之后，侍奉江户幕府多年的忍者逐渐丧失了在政治上的作用与地位。而自伊贺同心组之后，许多伊贺与甲贺忍者也逐渐退出江湖，忍者逐渐走向了没落。而在德川吉宗这样的举措下，失去战争土壤滋润的忍者，在和平的江户时代又进入了一个新的发展高潮。“御庭番”制度也一直延续到德川幕府江户城无血开城投降。
宝历元年六月二十日，即1751年7月12日，德川吉宗因脑疾去世，享年68岁。江户幕府的一代英主，为了实现曾祖父德川家康心中的理想社会而劳神费心的德川吉宗终于永远地休息了。
而吉宗留下的是一个太平盛世吗？在他人生的最后一年，一场新的经济危机又来了。有人很怀念他，特别是在他的老家纪伊，人们把他视为纪州的骄傲。之后的江户幕府，再也没有出现能够超越他的将军了，或许这就是盛极必衰吧！经过他生前努力改革制度和再建财政，德川幕府之后比较平稳地走过了将近一个世纪。而忍者也是如此，在德川吉宗时代短暂的中兴之后，也如同德川幕府一样，慢慢地走向了衰败的末路。
纵观整个江户时代，因为时代的改变，在这近300年的和平时代中，作为战争中“用间”艺术缔造者的忍者，也不可避免地走向了衰败。没有战争，忍者就无法发挥最大的威力。在江户时代，忍者们的战争完全变为了幕府镇压农民起义的一种工具了。其中著名的战役也就是服部正重的叔父——当时担任大目付的中根正盛带领忍者参加的镇压岛原之乱了。或许正因如此，本身出身就不高的忍者，也厌恶了这种镇压与杀戮。同时，也正是制度的改变、职能的转移、地位的降低等多方面的因素，使忍者们慢慢地退隐山林，或纯粹务农生活，或隐居著书。曾经震动整个日本的忍者，也就由盛转衰，回归到战国时代之前的平淡状态。
