说着，太守拿出许多银钱，施于鉴真，又让手下送来许多粮食、用品。诸寺僧人和父老乡亲也纷纷拿出备好的礼品赠与鉴真大师。大师接过礼品，再三致谢。众人将鉴真一行送了很远一段路程，才被鉴真执意谢退。太守便命手下官兵协助背负有关物品，一直送到奉化县白杜村寺。
在此暂住多日后，鉴真一行又继续上路，来到台州宁海县白泉寺。次日众人吃过早饭，便告别白泉寺，向前进发。这是一段崎岖险峻的山路，行走起来十分艰难。傍晚时分，仍未走出深谷。一会儿，又下起大雪，寒风呼啸，飞雪打得连眼睛都很难睁开，道路看不清楚，不慎走入涧水之中，水深至膝，冰冻难耐，许多人急得哭了起来。关于这一情景，史料中是这样说的：“岭峻途远，日暮夜暗，涧水没膝，飞雪迷眼，诸人泣泪，同受寒苦。”(《唐大和尚东征传》)大家终于熬到天亮，才翻过山岭，进入始丰县(今浙江天台县)境，又艰难跋涉一天，日暮时分到达天台山国清寺。
天台山位于天台县城北，是中国东南沿海的第一名山。这里群峰峥嵘，沟壑幽深，飞瀑流泉，洁白如练，既有雄伟之气势，又有秀美之景色。隋时，智者大师在此创立中国佛教天台宗，从此天台之名远播四方，海内外香客无不心往神驰。特别是国清寺，雄居于几座山峰之中，四周层峦叠嶂，郁郁苍苍，奇树异草，葱郁芬芳。风吹松柏，声如波涛。
那时，已到隆冬时节，刚好又下了一场大雪，鉴真步人寺中，只见白雪覆着宝塔玉殿，层林相托，蔚为壮丽。众人忘记了疲劳，怀着虔诚的心情，巡礼寺中圣迹，忆念先贤昔圣。
次日吃过早饭，鉴真一行又马不停蹄向温州进发。他们穿过始丰县，进入临海县，一连几天，都行走在云雾缭绕的峰峦之间，而后又沿灵江前进，到了黄岩县。为了尽快与法进等人会合，他们稍事休息后，继续向温州方向前进。
这一天，鉴真一行人投宿到一座名叫禅林寺的古庙中，次日凌晨刚要动身，忽见一群差官带着采访使的文牒，闯进寺内，把鉴真等人一齐扣押起来。
原来，正当鉴真在浙江东南山区艰难跋涉的时候，在扬州的弟子灵佑及各寺的上座、寺主和都维那会集一起，商议鉴真大师的去向。最后达成一致意见，认为大师发愿东渡日本，登山涉海，数年艰苦，沧海万里，生死莫测。所以，他们决定告知官府，让官府出面阻止。江东道采访使得知消息后，立即下牒诸州，追查鉴真踪迹。官差顺藤摸瓜，把鉴真所经过的寺院的寺主全都扣押起来，进行审问，追查鉴真去向。最后一直查到了黄岩县南四十里的禅林寺。
这一次，官差把鉴真等人看管得十分严密。大批兵卒重重防卫，任鉴真如何解释，也休想脱身半步，于是，大家只好被强行押解回扬州。鉴真长叹不已，日僧更是悲伤至极。
回到扬州，采访使让鉴真继续留住当年的龙兴寺，责令寺中三纲即寺主、上座、都维那等人严加防护，不要再让鉴真等人出国，除鉴真的直系弟子外，其他人员都被解散送回原地。日僧荣睿和普照则被安排到遥远的同安郡(今安徽省安庆市)住下。
鉴真回扬州的消息一传开，僧俗弟子一齐涌向龙兴寺礼拜大师。他们极尽供养，欢喜庆贺，热切慰劳，表达了对一代大师的无限虔诚与恭敬。
可鉴真自回扬州之后，终日闷闷不乐，忧愁不堪。这次东渡的受阻，使数月的精心筹划与艰辛付之东流，悲愤中的鉴真对弟子灵佑大加呵斥。而灵佑虽出于一片好心相留，可自知对不起师父，于是一再向师父表示忏悔，每天夜里从一更一直到五更，站了六十天，鉴真依然没有宽恕他。最后，扬州各寺的寺主、上座、都维那及各位大德一起前来致礼谢罪，鉴真一直阴沉的脸上才又浮现了昔日的慈祥。
第四次东渡的失败，的确使鉴真遭受到沉重打击。日僧荣睿、普照更是茫然无措，几乎陷入绝望的境地。不过，对佛法的虔诚，使他们再一次从失败中振作起来。时光的流逝并没有冲去东渡的意志，反而使他越来越强烈，越来越不可违逆。对鉴真是如此，对荣睿、普照也是如此。
心有灵犀一点通。天宝七年(748)初春的一天，日僧荣睿、普照从同安郡乘船重返扬州，再次来到龙兴寺拜见鉴真大师。可鉴真大师已搬到崇福寺居住，他们又火速赶往崇福寺。
三年来，日僧远离扬州，鉴真口中再也不提东渡之事，所以官厅早已放松了对他的监视。可鉴真的内心却无时无刻不铭记着东渡的志向。所以，荣睿、普照来到扬州后，他们又立即着手准备第五次东渡。
这一次，鉴真一方面派人采办各种物品，另一方面托人在新河(今江苏扬州市南)打造船只，一切从速办理。
六月二十七日，鉴真与全体东渡人员告别崇福寺，来到新河上船。同行弟子有祥彦、光演、顿悟、道祖、如高、德清、日悟、思托及日僧荣睿、普照等共十四人，水手十八人，其他工匠等共三十五人。所带物品和第二东渡时大致相同，粮食、衣服、经典、佛像、草药等应有尽有。
船从新河启航，沿运河经瓜州(今江苏邗江县南)，进扬子江，再经常州界，东下至狼山(今江苏南通市附近)。这时，忽然刮起大风，既不能行驶，也不得靠岸，船旋转于三山之间。天明后，幸好风平浪静，船才驶出了长江口，进入东海之中。
到了越州的小岛三塔山(今定海海中的小洋山)，风向突然变化，他们又不得不停下来等候。一个月后，总算等到了顺风，鉴真下令立即开船。谁知船行到署风山(今舟山岛附近)，风又转了向，只好再次停了下来。
船在暑山岸边停了一个多月，大家心里都十分着急。十月十六日一大早。鉴真突然对大家说：“昨夜我梦见三个官人，一个穿红衣服，两个穿绿衣服，站在岸上向我们拜别。这一定是国神与我们告别，我们的行动国家已允许了，今天肯定可以东渡了。”
说来也巧，一会儿，果然刮起了顺风。于是，等待一月之久的木船再次起锚开航，向顶岸山进发。到中午时，东南方向出现了高山，大家以为顶岸山到了，水手们扬帆直驶而去。可是，忽然间眼前那郁郁苍苍的高山却不见了。原来，那只是一种积聚的蜃气，它预兆着一场大飓风即将来临。但鉴真一行不了解这种情况，所以继续航行，船离暑风山越来越远，慢慢地漂向大洋之中。
一会儿，海上便刮起大风。黑云遮天，狂风怒号，浪高波峻，涛声如雷。傍晚时分，风浪更大，船像一片树叶，一会儿被抛向浪巅，一会儿被埋入波谷。船上的人都被颠得昏昏晕晕，力不能支，大家齐声念诵观音圣号。可水手们却大声喊道：“船就要沉了，快把货物扔下海去！”于是几个水手拿起栈香笼就要向海中扔去。这时忽听空中传来声音：“不许扔！不许扔！”水手大吃一惊，立即放下手中的栈香笼，其他水手也不敢向海中扔东西了。
又过了一会儿，水手突然惊喜地对大家说：“大家都不要再担心了，有四位神王，身穿铠甲，手持长杖，其中两位在船头，两位在船侧，他们全力守护着我们！”众人一听，心中顿时安稳下来，再看鉴真，此刻依然静坐在船头，双手合掌，口里念念有词。
第三天，船漂到蛇群出没的蛇海，各色各样的蛇，身长一丈多，小的也有五尺左右，在海面上游来游去。接着，船又驶进飞鱼海，银白色的鱼都有一尺多长，不停地飞出海面，在空中舞动。水手们不知船开到了什么地方，只好随波逐流，在茫茫大海中漂荡。
这一天，船开到一处海面，飞鸟极多，这种鸟与人一般大小，许多鸟爬到船上，使得船的重量急剧增加，人们只好用手去推，飞鸟就用嘴啄咬人们的双手，几经搏斗才终于脱离了飞鸟海。
此后几天中，除了狂风巨浪之外，再见不到任何东西。后来，船上又断了水，人们疲惫不堪，饭无法去做，日僧普照便在每天的吃饭时候，给大家分发一些生米充饥。可是口干舌燥，无法下咽，饮了海水之后，腹部又胀疼难忍。他们自出世以来，谁也没有受过这样的罪。
如此又熬了好几天。这一日，海中出现了四只金鱼，船上人好像见到亲人一样，十分高兴，因为好长时间，他们没有看到过任何活着的东西了。又过了一天，风平浪静，船稳了下来。可依然无水，人们都快要渴死了。
一天早晨，荣睿突然兴奋地对大家说：“我梦见一位官人请我为他受戒。我对他说，贫僧甚渴，想要水喝。那位官人便倒水给我。那水就像乳汁一样，十分甘甜醇美。我又对那官人说，船上三十余人已好多天没喝过水了，他们极其饥渴，请施主尽早拿水给他们。于是，那位官人就叫来‘雨令老人’，请他火速给船上人送水。这个梦相说明，雨水就要来了，您们赶紧准备用碗来接。”
第二天下午，西南上空出现了一块乌云，当漂到船的上空时，忽然下起雨来。人们用碗接水，痛饮一场，顿时精神振作起来。次日又下了一场雨，人们才吃饱喝足，但水并没有收集多少。又过了一天，船终于靠近一个海岛。
至此，他们已在海上漂泊了整整十四天。
那时，已是冬季十一月份，扬州及日本一带已是万木凋零了。可这岛上却鲜花竞艳，草木清新，完全是夏日的景象。他们感到十分奇怪。不久遇到了四位当地的商人，一打听，才知道他们并未抵达日本，而是到了中国最南端的一个大岛即今天的海南岛。
第五次渡海又失败了。
七北上扬州屡遭不幸
鉴真万万没有想到，在海上漂泊了十四天之久，他的船只又回到了大唐的国土。
东渡没有成功，他们却陷入了荒夷蛮野之地。那时，海南岛荒林遍野，杂草丛生，野兽出没，人口稀少。更可怕的是各类海盗与陆上的土匪很多。这些人烧杀抢掠，无恶不作，使海南成为一个恐怖之地。他们在四位当地人的引导下，来到一个相对安全的港口，准备明日启航。谁知夜幕刚一降临，便有一个披头散发、手持利刃的强盗到船上来抢劫，大家赶紧送给他许多食物，他才走了。鉴真一看这里不是停泊之地，就叫船夫连夜起锚开船。那四位当地商人正好想去振州(今海南省崖县)作生意，便同船引路，往南而去。
经过三天航行，船终于到达振州江口。四位商人上岸报告于州府。在州府中任别驾之职的冯崇债一听有高僧自远方一漂来，惊喜不已，立即派遣兵卒四百余人前来迎接。刚一进州城，早已等候在那儿的冯崇债趋步上前，跪倒在鉴真面前，连拜三下，又把鉴真扶上自己的马车，直驱官邸。冯崇债之所以如此恭敬，不光因为他是一位虔诚的佛弟子，主要还是因为他昨晚作了一个奇怪的梦。梦中有一和尚告诉他：将有一姓丰的和尚到此，他便是你的舅舅。可当得知鉴真一行中并无姓丰的僧人时，冯崇债依然十分虔诚，就把鉴真当作他的舅舅，极尽供养，执意相留，要鉴真长住于此。
冯崇债听说鉴真是位律学大师，便决定在府内筹办授戒大法会。鉴真为弘法故，便应承了下来。如此又在府内住了数月。后来，听说州中大云寺佛殿毁坏，众僧发心捐物，准备重修，便请鉴真亲临指导。于是鉴真便又搬进大云寺居住。在此一住就是数月，鉴真在振州已整整呆了一年之久。
大云寺佛殿修缮完毕之后，鉴真执意要走。冯崇债挽留不住，只好同意。因为那里强盗出没无常，所以，冯崇债自备甲兵八百余人送行，经四十多天，大队人马才到了万安州(今海南省万宁县)。当地大头人冯若芳隆重接待了鉴真一行，并把他们安排在自己家里，虔心供养。三天后，冯崇债继续护送鉴真一行抵达崖州(今海南省文昌县)。这里已比较安全，冯崇债便拜别鉴真，领着兵卒返回。
从振州出发时，鉴真一行是分海陆两路走的。鉴真走陆路，荣睿和普照走海路，相约在崖州会合。荣睿一行先期抵达崖州，鉴真随后也到。州中的一位武官名叫张云，是位佛弟子，他把鉴真、荣睿等人安排到开元寺居住，对鉴真等人非常恭敬，生活方面更是关怀备至。手下官兵也纷纷设斋供养，光布施的物品就放了满满一屋。
刚要从崖州继续北上，适逢州中遭遇火灾，鉴真所住的开元寺被烧毁。张云恳请鉴真在崖州主持建寺，鉴真应允。于是，一行人又在崖州住了下来。远在振州的冯崇债听说鉴真在崖州主持建寺，便派大批奴婢，每人扛一根木头，送往崖州。三日之内，所需木料全部送到。鉴真主持修建了佛殿、讲堂、砖塔等建筑，还雕造了一座一丈六尺高的释迦佛像。寺院落成，佛像开光，鉴真又设坛传戒，弘讲律法。
崖州诸事办理妥当之后，鉴真告别张云，北上大陆。张云派澄迈县令送鉴真一行上船。经过三天三夜，船越过雷州海峡，到了大陆最南端的雷州(今广东雷州半岛)。在雷州稍事休息后又经辩州(今广东省化州县)、罗州(今广东廉江县)、白州(今广西博白)、绣州(今广西桂平县)，过西江沿岸的藤州(今广西藤县)、象州(今广西象县西)，到达始安郡的桂州(今广西桂林市)。沿途受到各地官员、僧俗父老的盛大欢迎和优厚供养。
始安郡都督冯古璞是个虔诚的佛教徒。当听说鉴真大师到来时，他立即率府中官员步行出城，五体投地，顶礼膜拜，然后把鉴真一行礼迎入城，安置于开元寺。消息一传开，满城僧徒纷纷擎幡烧香，唱着梵呗，云集寺中。从外地赶来朝圣的各州各县的官人、百姓不绝于途。开元寺佛事活动一下子兴盛起来。鉴真趁机传法布道，教化众生。后来，冯都督又请鉴真为其授菩萨戒。授戒这天，冯都督亲自作饭，供养僧众，并率领所辖七十四州的官人和来郡中参加会试的文人一齐受戒，其人数多得无法计量。就这样，鉴真在桂州又度过整整一年。
这时，南海郡太守卢奂听说鉴真在桂州，便派使者前往该地。他还下牒所辖各州县，让他们沿途迎送，不得怠慢。鉴真认为这不光是在岭南弘法的好机会，而且广州是一大港，或许还可再行准备东渡的事情，于是便答应了下来。
离开桂州时，冯古璞亲自扶鉴真上船，依恋难舍，挥泪而别。舟船沿桂江东行，七天后达到梧州(今广西苍梧)，然后又乘船抵达端州(今广东高要)，住于龙兴寺。在这里，发生了一件不幸的事情：荣睿因几经囚牢，又得过重病，本来就体质虚弱，再加遇险漂流，积劳成疾，到端州时竞一卧不起，溘然长逝。鉴真哀痛不已，怀着悲切的心情，将荣睿安葬于龙兴寺后的山岗上。荣睿为请鉴真东渡，八年来历尽艰辛，一再受挫。想不到意愿未了身先死，这对鉴真和普照来说的确是一个沉重的打击。
荣睿的丧事料理完之后，端州太守奉命将鉴真一行送到广州。都督卢奂率领僧俗大众出城相迎，接待极为隆重，随后请他们居住于大云寺内。
卢奂是盛唐时期有名的清廉官吏之一，很受唐玄宗的赏识。此人除长于文治武功之外，还虔信佛法。所以，对鉴真在广州的弘法事业给予极大的支持，鉴真在此登坛授戒，讲经弘法，声势浩大，影响盛极一时。
天宝九年初夏，鉴真发现从广州东渡日本无望，便决定立即北上扬州，以便重整旗鼓，寻机东渡。动身那天，广州几乎是倾城远送，浩浩荡荡的送行队伍一直延续到江边。鉴真一行乘船北行七百余里，到达韶州(今广东韶关)。韶州官员迎请鉴真居住于法泉寺，不久又移居开元寺。
