杨广在江都设置的四道场与杨坚在长安设立的大兴善寺、玄都观交相晖映，成为全国性的宗教思想控制的中心。杨广曾写诗夸耀自己在江都设立的四道场，对自己能延揽到众多高僧颇为得意。
然而，也有一些高僧坚决拒绝杨广的延揽，不愿前往江都四道场“任职”。如《续高僧传》卷一《彭城崇圣道场靖嵩传》记曰：“隋炀昔镇扬越，立四道场，教旨载驰，嵩终谢遣。及登紫极，又有敕征，固辞乃止。门人问其故，答曰：‘王城有限，动止严难，虽内道场，不如物外’”。苏州虎丘山名僧智琰因“道盛名高”，被杨广召进慧日道场，后亦“以辞疾，得返旧山”。江南第一高僧的智觊虽被杨广延屈至江都。但智觊却也坚决拒绝进入慧日道场。

智觊来江都时，“慧日己明”，杨广意让智觊为慧日主持，利用智觊的德望扩大其对江南佛教界的影响。智觊坚辞不受，反倒当面提出要回荆湘，“于当阳县玉泉山”建立自己的“精舍”。不愿意加人有大隋官方背景的慧日道场，要远离江都到荆州建立自己自由传教的天地，这是对杨广盛情邀请明确表示不予合作。智觊在江都城外住了几个月，但始终未入慧日道场。其间杨广仍百般延请，多次派柳顾言往智居处奉送礼物，再作挽留。杨广称：“弟子一曰恭亲，犹以陋薄，不称宿心。”开皇十二年（592年）二月十八日，杨广致书一封请留，但智觊则反而提出要先回庐山东林寺，并转而请杨广为“东林峰顶两寺檀越（施主）”。杨广无奈，只得再派柳顾言转达口信：“弟子意不欲相去辽远，脱能旋回，不敢留停，镇下近山隋乐住止”。但智觊仍执意离去。三月一日，杨广又修《重留书》，欲留智觊过完夏天后再“发遣，冀不半途飘露”，“请就摄山安居度夏”，但“师不许”，严辞谢绝。杨广对这位固执的长者不敢“违忤”，“谨尊宿愿”，“即命所司发遣”，最后“具装发遣”送智觊觊上庐山。

智觊入江都仅四个月就远走荆湘，对杨广表现出的不合作甚至对立，杨广都表现出了极大的耐心与智慧。

然而智觊虽极力疏远杨广，却也没有忘记利用王者之力来兴办佛事。他离江都时即给杨广写信，称“近年寇贼交横，寺塔烧烬，仰乘大力建立将危。遂使佛法安全，道俗蒙赖，收拾经像处处流通，诵德盈衢恩满路”，希望杨广营造治葺庙宇。杨广立即回信表示同意，称“废寺同于火宅，持钵略成空返，僧从无依，实可伤叹”。智觊登上庐山，又述东林寺“羡玩忘劳”，然山下伽蓝偏近驿道，行人归去颇成混杂，请求杨广下令寺边“永禁公私停泊”。杨广知道后立即交代有关方面“勒彼州令去公私使命，不得停止”。就这样，师徒二人各有图谋，互相利用，书信往来不绝，表面看来似乎已成莫逆之交。

杨广也一刻没有放松对智觊大师的拉拢。开皇十二年（592年）三月二十一日，杨广连修书三封，存问大师“道体如何”。七月一日，杨广遣主簿王灌往庐山参省问候，并送盐米，希望智觊回心转意。但智觊却于八月八日西去南岳衡山，“营建功德”参拜恩师慧思之墓。杨广得知智觊远云，急忙于十月十日参书一封，云：“弟子渡江还，去月初移新住，多有造次，未善安立，来旨勖以法事，实用惭悚，始于所居外援建立慧日道场，安置照禅师以下，江陵论法师亦已远至于内援。建立法云道场，安置潭州觉禅师已下。”再次表示要请智到江都道场主持佛法，并催促说：“已别遣使迎延，愿预整归计。”十一月十五日，杨广再遣亲信伏达往潭州奉迎。但智觊未加理会，于十二月回到阔别二十多年的家乡荆州。一时“泮宫道俗延颈侯望，扶老携幼相趋戒场，垂里戴白云屯讲座，听众五千余人，旋乡答地荆襄未闻”。智觊即于当阳县玉泉山建立“精舍”，并重修十住寺，打算在此长住久居。

智觊大师我行我素，傲慢地拒绝晋王杨广的“累书延屈”，当然使晋王大丢面子，但杨广也并未激怒，表现出极高的政治素养和极大的耐心。智觊远离江都而入荆湘意在摆脱晋王的控制，但终不能摆脱大隋政权的监视，远离晋王却也使智觊难以得到晋王的政治庇护。时杨坚在旧陈荆州等地设置的总管府，虽说总归晋王节制，但实际上是直接听命于朝廷，“总管刺史加使持节”，拥有很大的权力。如令狐熙为桂州总管十七州诸军事，即有便宜从事之权，可以朝廷名义任命刺史以下官吏，杨广号令所达地区实际上仅限于扬越一隅。

智觊进入荆湘弘法，果然遇到了麻烦。智觊临终时给杨广的遗书中透露了自己在荆州集众说法时，遭到地方当局粗暴干涉的情况：

于荆州法集，听众一千余僧，学禅三百，州司惶虚，谓乖国式，岂可集众，用恼官人。胡朝同云合，暮如雨散，设有善萌，不获增长，此乃世调无堪，不能谐和所得。

法会竟被地方官勒令解散，足见其事之严重。时江南平叛不到两年，隋对旧陈遗民心存警戒，曾多次下令收缴武器，直到开皇十八年（598年），还下令禁止“私造大船，因相聚结，致有侵害，其江南诸州，人间有船长三丈以上，悉括入关”。智觊“因相聚结”了一千余僧，外加学僧三百，而未经官方同意，自然“有乖国式”。特别是智觊先前与南陈君臣关系密切而不附隋朝，隋地方官员生怕他以宗教声望聚众谋反，他的自由传教又怎能不使“州司惶虚”。可以肯定，遣散智觊的法令是地方官依法行事，而决不是秉承晋王的命令。为了寻求政治庇护，智觊写信请杨广做玉泉的大檀越，杨广再次表示同意。杨广后又写信给荆州总管达奚儒，请他对智者及所修玉泉寺多加关照。

开皇十三年（593年）二月二十二日，杨广入朝，行至陕州，又遣使送去亲笔信往荆州奉迎智，称自己“驰仰之诚与时而积”。五月，智觊派弟子奉书报晋王，送上新建玉泉伽蓝图，献上相传是外国奉献给梁武帝的珍贵“万春树皮袈裟”。杨广收到礼物后即修书一封表示感谢，并附一份丰厚的礼单以示还报。杨广还在朝见父皇时奏告了自己为安定江南政局而拉拢利用智觊的意图，杨坚十分重视，于开皇十三年（593年）七月二十三日敕书匾额，赐智觊创办的精舍名曰“玉泉寺”，并敬问道体。皇帝御笔亲题金字，对于正遭到麻烦的智觊大师来说，的确是巨大的恩惠，这也正是大师求之不得的。荆州总管王世积随即“到山礼拜”，智觊的境况无疑大为改观了。弟子为大师帮了大忙，因各有所求，已渐疏远的师徒关系似乎又热起来。

施之以李，报之以桃。杨广施此恩惠，自然要图还报，于是更加紧了对智觊的延揽。九月十日，杨广致书智觊，称“弟子还镇非久，便愿沿流仰合江都”再次邀请智觊往江都。九月二十四日，杨广又由京师写信给智觊，称“仰违已久，弛系实深”，“献岁非遥，倾迟虔礼，暮春届节当遣奉侯”。不日，又遣统军鲁子誉送信，书称：“秋仲归蕃，请夏讫沿下，在于拜觐”。开皇十四年（594年）九月，杨广从驾东巡于路又两次修书存问“道体康??”。开皇十五年（595年）正月，杨广随杨坚祠泰山后还镇，即于二十日遣使奉书往迎智觊，称“余春未尽，必希拜觐”。杨广的恩惠和“致书累请”使智觊再也不好推辞，随即顺流东下，“重履江淮”。