绍熙五年（1194）夏，时陆游领祠禄闲居故里。杨万里寄诗来，《寄陆务观》云：
君居东浙我江西，镜里新添几缕丝？花落六回疏信息，月明千里两相思。不应李杜翻鲸海，更羡夔龙集凤池。道是樊川轻薄杀，犹将万户比千诗。（《诚斋集》卷三十六）罗大经《鹤林玉露》云：“晚年为韩平原作《南园记》，除从官。杨诚斋寄诗云（诗略）盖切磋之也”。罗氏认为杨万里此诗是讽劝陆游勿与韩侂胄接近。按：杨万里《诚斋集》系亲自按年代次序编排，其中又按”一官一集”原则分别编集，此诗编入《退休集》中。《退休集》是杨万里结束了江东副漕生活，自金陵西归豫章之后的诗作，共七卷，即《诚斋集》中卷三十六至四十二。《寄陆务观》编在《退休集》首卷，前有《甲寅二月十八日牡丹初发》、《四月三日登度雪台感兴》，后有《六月初四住云际院田间雨足喜而赋之》，可知此诗作于甲寅即绍熙五年四五月间。由诗中“君居东浙我江西”、“花落六回疏信息”句，亦说明此诗作于淳熙十六年两人于临安分手后六年。而陆游为韩侂胄作《南园记》时，已是两人分手十二年后的事。罗大经将杨诗歌与陆记硬联系在一起，看成因果关系，实属牵强，不足为凭。不过，杨万里写诗讽劝陆游是事实，也是可以理解的，因陆家与韩家本来有交往，在主战立场上，两人又是一致的，陆游与韩侂胄的关系亲近是铁的事实，不必忌讳。但这种亲近，是出于抗战恢复的国家立场，而不是出于个人利益。陆游的行为并没有错，至于“见讥清议”，也是自然的。清议者主和反战，本来立场即不同，对主战者不讥评反而不正常。杨万里主和，反对韩侂胄，自然不赞成陆游与韩亲近。写诗相劝，一方面是基于不同政治理念，另一方面也是交友之道中应有之义，即自己认为朋友有“过失”，委婉讽劝，既尽为友之责，又不过激批评。至于孰是孰非，个人有自己的理解，谁都无权强迫对方接受自己的观点，所以只能“切磋之”。因此，杨万里此诗对陆游“讽劝”而非“讽刺”，不必忌讳，更不应曲解。陆游对此没做出任何“回应”，他有自己的立场，朋友的“心意”，自己领了，但不必接受。
罗大经记述此事时，采取的是客观立场，他对杨万里有好感，对陆游亦无恶意。他并没有说杨万里是对的，相反，他维护陆游，接着说：“然《南园记》惟勉以忠献之事业，无谀辞。晚年和平粹美，有中原承平时气象，朱文公喜称之。”
《宋史·本传》说陆游“晚年再出，为韩侂胄撰《南园》、《阅古泉记》，见讥清议。朱熹尝言其‘能太高，迹太近，恐为有力者所牵挽，不得全其晚节’。盖有先见之明焉。”又云：“陆游学广而望隆，晚为韩侂胄著堂记，君子惜之，抑《春秋》责贤者备也”。《宋史》之论出，后世史家多承其说，《四库全书总目·诚斋集提要》云：“游晚年隳节，为韩侂胄作《南园记》，得除从官，万里寄诗规之，有‘不应李杜翻鲸海，更羡夔龙集凤池’句，罗大经《鹤林玉露》尝记其事。以诗品论，万里不及游之锻炼工细；以人品论，则万里倜乎远矣。”四库馆臣亦如罗大经，将杨万里写诗规劝陆游与陆游写《南园记》牵扯一起，且据此做出陆游人品不及杨万里的结论。胡明《诚斋放翁人品谈》亦认为杨万里人品高于陆游，说“杨万里的政治品质与道德面貌似乎是无懈可击的”，又就诗而论，“放翁的创造性不如诚斋，审美把握不如诚斋”，明显褒杨贬陆。
嘉泰元年（1201），陆游时在故乡。初冬，杨万里寄书至，《答陆务观郎中书》云：
某自顷蒙遗“诗可以妒”之帖，得之于新仲舍人之孙朱司理许，亦随因之寄一行以谢焉。故当无复石头事否？昨暮杜掾又送似妙帖，偶一二士友相访野酌，吹灯发书，乃推仆以主盟文墨，为之司命，则抵掌大笑。其二人曰：谲哉放翁！既妒之，又推之，一何反也？是可笑也。其一人曰：谦哉放翁，何可笑也！古者文人相轻，今不相轻，而妒焉推焉。日妒云者，戏词也。妒者推之至，推者谦之至。舍己主盟司命，而推人以主盟司命，不已谦乎？之二人者，盖皆堕放翁计中，益可笑也。大抵文人之奸雄，例作此狡狯事，韩之推柳是已。韩推之，柳辞之者，伐之也。然相推以成其名，相伐以附其名，千载之下，韩至焉，柳次焉，言文者举归焉。仆何足以语此？虽然，亦岂不解此？柳谓韩之言不足信，若放翁之币重言甘，仆敢信之乎？有掩耳而走，退舍而避耳。信与不信，辞与不辞，之二人者知之乎？螺江门外私酒岂敢望？新做一个布衫，而况惟有羊叔子名与汉江流乎？以雅故也。厌《祈招》之愔愔，羡拊缶之鸣鸣，何也？耘叟之曲，仆所传者与世同，前之一叠也；后一叠小异，尝闻之否？宅相桑君诗句，得夜半之真传矣。杜掾，故人赵宪之玉润，旧尝识之，况长者之称乎？葛藤且止。上言加餐饭，下言长相思。珍重！新来做得一个宽袖布衫，著来也畅。出户迎宾，入城干事，便是杨保长云云，荷荷！（《诚斋集》卷六十七）风趣幽默，是杨万里的风格，给陆游写信亦开玩笑。此时两人仍保持正常的友好关系。
嘉泰二年（1202）初夏，杨万里又有书来。《再答陆务观郎中书》（《诚斋集》卷六十八）中，杨万里在回复陆游的信中与陆游讨论富贵寿考是否出于偶然的问题，两人观点同中有异，但属正常的切磋，毫无火气。又谈到送子诗，谈起家常。遗憾的是陆游给杨万里的信已散佚。
此时，陆游作有《谢王子林判院惠诗编》，题下自注云：“王从杨廷秀甚久。”诗曰：
文章有定价，议论有至公。我不如诚斋，此评天下同。王子江西秀，诗有诚斋风。今年入修门，轩轩若飞鸿。人言诚斋诗，浩然与俱东。字字若长城，梯冲何由攻？我望已畏之，谨避不欲逢。一日来叩门，锦囊出几空。我欲与驰逐，未交力已穷。太息谓王子，诸人无此功。骑驴上灞桥，买酒醉新丰。知子定有人，讵必老钝翁。（《诗稿》卷五十三）对杨万里诗推崇备至。
开禧二年（1206）五月八日，杨万里病逝，终年八十岁。陆游于知交逝世，多写诗文哀悼，如韩元吉、周必大、范成大、尤袤、朱熹、张縯等；或于其他诗文中涉及，如辛弃疾、谭季壬、方士繇等。杨万里与陆游诗文投赠甚多，一向互相推重。而于杨万里之卒，陆游诗文中竟无片言只语提及，令人费解。
陆游与杨万里明显的矛盾是起于陆游晚年接近韩侂胄。嘉泰二年（1202）春，陆游次子陆子龙任吉州司理，陆游时在山阴，作《送子龙赴吉州掾》，其中有云：
益公名位重，凛若乔岳峙。汝以通家故，或许望燕几。得见已足荣，切勿有所启。又若杨诚斋，清介世莫比。一闻俗人言，三日归洗耳。汝但问起居，余事勿挂齿。（《诗稿》卷五十）诗中谈到杨万里是“清介”之士，让子龙见到但问起居，其他任何话题都不要谈。可见两人矛盾已深，陆游也知道，在杨万里眼中，自己已是“俗人”了。此年五月，朝廷任命陆游以提举佑神观兼实录院同修撰兼同修国史，免奉朝请。对这次重新出山，陆游友人态度各不同，张镃有《陆严州赴召喜成三诗》，为之欣喜，表示祝贺。杨万里则持批评态度，他闻讯后，立即写了《纪闻悼旧》诗：
莫说湘南寺，令人绝痛渠。中间缘国论，偶似《绝交书》。衫短枯荷叶，墙高过笋舆。人生须富贵，富贵竟何如？（《诚斋集》卷四十一）首联中的“湘南寺”，指湖南衡州城东的开福寺，为赵汝愚葬地。作者痛悼被韩侂胄迫害而死的赵汝愚。接下则含蓄讥讽陆游热中仕途，与韩党接近，最后提出规劝。据《宋史·杨万里传》，杨万里听到开禧用兵消息时，竟不食而死。他是坚持反对北伐的，与陆游立场完全相反。
通观两人交游，诗酒唱和酬答，多属文字之交，学术系统、诗作流派及风格不尽相同。他们极少议论时政，常彼此推许，但保持一定距离。淳熙十二年（1185），杨万里向宰相王淮进呈《淳熙荐士录》，共推荐六十名人，各加评语，请王淮擢用，却没有陆游之名。杨万里与陆游政治理念和立场不同，即使承认陆游有行政才能，也不会推荐他。两人唱和之作，独陆游集中散佚，其中可能有深意。
杨万里平生以张栻、朱熹、吕祖谦为师友，属道学家派别，讲心性，不言功事，于国事主和而反战。陆游因受家学影响，属临川（王安石）学派，讲事功，主战而反和。从政治立场上看，分属不同的政治派别，两人互为“反对派”，是“敌”而非“友”。因此，在重大国事问题上，两人的矛盾便是情理中的事了。杨万里一再批评陆游，陆游皆无“回应”，可能是“道”不同不相为谋的态度吧！而陆游几乎没有批评杨万里的文字，只有不满的情绪流露。于此，可理解为陆游的涵养大度，待友以善；亦可理解为陆游对自己的选择心有不安，故以沉默来“回应”友人的批评。
两人相互推崇，切磋诗艺。陆游《老学庵笔记》卷一记载道：
杨廷秀在高安，有小诗云：“近红暮看失燕支，远白宵明雪色奇。花不见桃惟见李，一生不晓退之诗。”予语之曰：“此意古已道，但不如公之详耳。”廷秀愕然问：“古人谁曾道？”予曰：“荆公所谓‘积李兮缟夜，崇桃兮炫昼’是也。”廷秀大喜曰：“便当增入小序中。”
杨万里充分肯定陆游诗歌成就和地位。张镃，字功父，从陆游学诗，能传其衣钵。杨万里《跋张功父通判直阁所惠约斋诗乙稿》曾以“孤芳后山种，一瓣放翁香”称之。（《诚斋集》卷二十一）《谢张功父送近诗集》尾联云：“近代风骚四诗将，非君摩垒更何人？”句下自注云：“四人：范石湖、尤梁溪，萧千岩、陆放翁。”（《诚斋集》卷二十九）《进退格寄张功父姜尧章》云：“尤萧范陆四诗翁，此后谁当第一功？”（《诚斋集》卷四十一）首次将四大诗人并提。又《诗话》云：“自隆兴以来以诗名：林谦之、范至能、陆务观、尤延之、萧东夫。近时后进有：张镃功父、赵蕃昌父……前五人皆有诗集传世。”（《诚斋集》卷一百十四）杨万里眼中，当世有几位大诗人，陆游便是其中之一。《千岩摘稿序》说陆游诗风“敷腴”，是对陆游的“元评价”，影响后世甚大。
陆游和杨万里交游，善始却未善终，留下遗憾。他们因政治理念不同而产生一些隔阂，但没有影响诗歌上相互推崇。终其一生，可称为“君子之交”。人品评价上不应简单比高低，而应具体分析。诗歌成就上，各有所长，又各有所短。总体影响上看，陆游高于杨万里，这是不必怀疑的史实。
