原来鉴真乘坐的军船行到桑石山附近，由于风力太大，船员欲靠岸稍等，可岸边有许多礁石，无法停靠，刚要离开岸边，还是撞上了礁石。军船被礁石撞破，海水渗入船舱，船身迅速下沉。船员一看无法抢修，只好呼喊大家迅速撤离。于是思托等人扶着鉴真，乘着备用的小木伐漂到附近的一座荒岛上。

　　军船和船上大量物品被无情的海水卷走。鉴真痛惜万分，慨叹不已。眼下虽然暂时摆脱了生命危险，可一百八十多人赤手空拳，没有粮食，没有淡水，在这小小的荒岛上还不得渴死饿死。

　　一天过去了，大家在饥寒交迫中苦熬。两天过去了，狂风依旧，海上依然没有渔船的影子。三天过去了，一行人仍然困守孤岛。

　　“南无观世音菩萨！南无观世音菩萨！”一声高过一声的呼唤，使每一颗冰冷的心重新温暖起来，极大地增强了他们摆脱绝境的信心。

　　第四天，狂风终于停了下来，海面上出现了渔船。众人如获救星，齐声呼叫。渔民发现岛上有遇难灾民，便前来相救。可渔船狭小，一百八十多位灾民如何营救，于是渔民们一方面用小船运来淡水和粮食，一方面将此情况报告给当地巡海官兵，巡海官兵探明情况后又报告给明州(今宁波)太守。

　　如此辗转拖延，又过了五天，明州太守派人驾大船把鉴真等人从荒岛上救出，十七位僧人被安置在明州东五十里处的阿育王寺，而其它人员大部分被遣送回乡。

　　第二次东渡失败了。

　　阿育王寺是明州最大的一座寺院。因寺内有一座阿育王塔而得名。传说佛祖灭度之后，印度护法名王阿育王为弘扬佛法，派人在世界各地建造了八万四千座塔，均名阿育王塔。明州能有这么一座宝塔，自然吸引了四方信众前来礼拜，所以，这里香火一直很旺。

　　鉴真与日僧荣睿、普照及随行弟子们商定，以阿育王寺为基地，继续筹备东渡事宜。

　　鉴真住进阿育王寺的消息很快便传开了。附近各寺院纷纷请他前去讲经弘法。天宝三年(公元744年)春,鉴真受聘到明州附近的越州（治所在今浙江绍兴）龙光寺讲律授戒。接着，杭州、湖州(今浙江吴兴)、宣州(今安徽宣城)等地的佛寺纷纷邀请鉴真前去讲经弘法，传律授戒。鉴真一方面认为这是弘法之必要，另一方面也为私下筹集东渡的费用和物资用品并进一步搜选各类工匠等东渡人员，所以他便欣然接受邀请，依次巡游各地，最后又南下明州阿育王寺，准备第三次东渡。

　　鉴真准备东渡的消息首先在越州走失了。当地僧侣不忍心让如此德高望重、学识渊博的高僧远赴日本，便纷纷前来劝阻。然鉴真心意已决，荣睿、普照两位日僧又一再恳请，眼看阻挡不住，当地僧人便上告州官，说日本僧人荣睿诱骗鉴真大和尚偷渡日本。州官认为这是违法的事，便立即派人捉拿日僧荣睿和普照。

　　消息传到鉴真那里，鉴真深感意外，急忙派人通知日僧隐藏。普照闻风后藏在野外的一处小庙，荣睿躲在一位名叫王亟居民的家里。官府挨家挨户地搜查，荣睿终于被抓住了。由于此事涉及外国事务，州官不敢擅作处理，他们便给荣睿戴上枷锁，准备押往京师。鉴真因为是名扬四海的高僧，州官只好嘱其不要再听信日僧诱骗就行了，手下弟子们也被允许与鉴真继续住在阿育王寺。

　　荣睿再次被捕，鉴真心里十分难过。荣睿被押往京师这天，鉴真率弟子前来送行。荣睿身著枷锁，面色憔悴，看见鉴真，禁不住滚下两行热泪。鉴真紧紧地握住荣睿的手，小声而非常坚定地说：“我们一定等你回来！你一定会回来的！”荣睿悲喜交加，含泪点头，默默地告别了鉴真大师。

　　第三次东渡就这样又失败了。