次日吃过早饭，鉴真一行又马不停蹄向温州进发。他们穿过始丰县，进入临海县，一连几天，都行走在云雾缭绕的峰峦之间，而后又沿灵江前进，到了黄岩县。为了尽快与法进等人会合，他们稍事休息后，继续向温州方向前进。

　　这一天，鉴真一行人投宿到一座名叫禅林寺的古庙中。次日凌晨刚要动身，忽见一群差官带着采访使的文牒，闯进寺内，把鉴真等人一齐扣押起来。

　　原来，正当鉴真在浙江东南山区艰难跋涉的时候，在扬州的弟子灵佑及各寺的上座、寺主和都维那会集一起，商议鉴真大师的去向。最后达成一致意见，认为大师发愿东渡日本，登山涉海，数年艰苦，沧海万里，生死莫测。所以，他们决定告知官府，让官府出面阻止。江东道采访使得知消息后，立即下牒诸州，追查鉴真踪迹。官差顺藤摸瓜，把鉴真所经过的名寺院的寺主全都扣押起来，进行审问，追查鉴真去向。最后一直查到了黄岩县南四十里的禅林寺。

　　这一次，官差把鉴真等人看管得十分严密。大批兵卒重重防卫，任鉴真如何解释，也休想脱身半步，于是，大家只好被强行押解回扬州。鉴真长叹不已，日僧更是悲伤至极。

　　回到扬州，采访使让鉴真继续留住当年的龙兴寺，责令寺中三纲即寺主、上座、都维那等人严加防护，不要再让鉴真等人出国，除鉴真的直系弟了外，其它人员都被解散送回原地。日僧荣睿和普照则被安排到遥远的同安郡(今安徽省安庆市)住下。

　　鉴真回扬州的消息一传开，僧俗弟子一齐涌向龙兴寺礼拜大师。他们极尽供养，欢喜庆贺，热切慰劳，表达了对一代大师的无限虔诚与恭敬。

　　可鉴真自回扬州之后，终日闷闷不乐，忧愁不堪。这次东渡的受阻，使数月的精心筹划与艰辛付之东流，悲愤中的鉴真对弟子灵佑大加呵斥。而灵佑虽出于一片好心相留，可自知对不起师父，于是一再向师父表示忏悔，每天夜里从一更一直到五更，站了六十天，鉴真依然没有宽恕他。最后，扬州名寺的寺主、上座、都维那及各位大德一起前来致礼谢罪，鉴真一直阴沉的脸上才又浮现出昔日的慈祥。

　　第四次东渡的失败，的确使鉴真遭受到沉重打击。日僧荣睿、普照更是茫然无措，几乎陷入绝望的境地。不过，对佛法的虔诚，使他们再一次从失败中振作起来。时光的流逝并没有冲去东渡的意志，反面使他越来越强烈，越来越不可违逆。对鉴真是如此，对荣睿、普照也是如此。

　　心有灵犀一点通。天宝七年(公元748年)初春的一天，日僧荣睿、普照从同安郡乘船重返扬州，再次来到龙兴寺拜见鉴真大师。可鉴真大师已搬到崇福寺居住，他们又火速赶往崇福寺。

　　三年来，日僧远离扬州，鉴真口中再也不提东渡之事，所以官厅早已放松了对他的监视，可鉴真的内心却无时无刻不铭记着东渡的志向。所以，荣睿、普照来到扬州后，他们又立即着手准备第五次东渡。

　　这一次，鉴真一方面派人采办各种物品，另一方面托人在新河(今江苏扬州市南)打造船只，一切从速办理。

　　6月27日鉴真与全体东渡人员告别崇福寺，来到新河上船。同行弟子有祥彦、光演、、顿悟、道祖、如高、德清、日悟、思托及日僧荣睿、普照等共14人，水手18人，其它工匠等共35人。所带物品和第二东渡时大致相同，粮食、衣服、经典、佛像、草药等应有尽有。

　　船从新河启航，沿运河经瓜州(今江苏邗江县南)，进扬子江，再经常州界，东下至狼山(今江苏南通市附近)。这时，忽然刮起大风，既不能行驶，也不得靠岸，轮船旋转于三山之间。天明后，幸好风平浪静，船才驶出了长江口，进入东海之中。

　　到了越州的小岛三塔山(今定海海中的小洋山)，风向突然变化，他们又不得不停下来等候。一个月后，总算等到了顺风，鉴真下令立即开船。谁知船行到暑风山(今舟山岛附近)，风又转了向，只好再次停了下来。

　　船在暑山岸边停了一个多月，大家心里都十分着急。10月16日一大早，鉴真突然对大家说：“昨夜我梦见三个官人，一个穿红衣服，两个穿绿衣服，站在岸上向我们拜别。这一定是国神与我们告别，我们的行动国家已允许了，今天肯定可以东渡了。”

　　说来也巧，一会儿，果然刮起了顺风。于是，等待一月之久的轮船再次起锚开航，向顶岸山进发。到中午时，东南方向出现了高山，大家以为顶岸山到了，水手们扬帆直驶而去。可是，忽然间眼前那郁郁苍苍的高山却不见了。原来，那只是一种积聚的蜃气，它预兆着一场大飓风即将来临。但鉴真一行不了解这种情况，所以继续航行，船离暑风山越来越远，慢慢地漂向大洋之中。

　　一会儿，海上便刮起大风。黑云遮天，狂风恕号，浪高波峻，涛声如雷。傍晚时分，风浪更大，轮船像一片树叶，一会儿被抛向浪巅，一会儿被埋入波谷。船上的人都被颠得昏昏晕晕，力不能支，大家齐声念诵观音圣号。可水手们却大声喊道：“船就要沉了，快把货物扔下海去！”于是几个水手拿起栈香笼就要向海中扔去。这时忽听空中传来声音：“不许扔！不许扔!”水手大吃一惊，立即放下手中的栈香笼，其它水手也不敢向海中扔东西了。

　　又过了一会儿，水手突然惊喜地对大家说：“大家都不要再担心了，有四位神王，身穿铠甲，手持长杖，其中两位在船头，两位在船侧，他们全力守护着我们！”众人一听，心中顿时安稳下来，再看鉴真，此刻依然静坐在船头，双手合掌，口里念念有词。

　　第三天，船漂到蛇群出没的蛇海，各色各样的蛇，身长一丈多，小的也有五尺左右，在海面上游来游去。接着，船又驶进飞鱼海，银白色的鱼都有一尺多长，不停地飞出海面，在空中舞动。水手们不知船开到了什么地方，只好随波逐流，在茫茫大海中漂荡。

　　这一天，船开到一处海面，飞鸟极多，这种鸟与人一般大小，许多鸟爬到船上，使得船的重量急剧增加，人们只好用手去推，飞鸟就用嘴啄咬人的们的双手，几经搏斗才终于脱离了飞鸟海。