因此，在朝廷收到朱熹认罪表的同时，也收到了蔡纪同的辩白书。今天这个结局，他早就料到了。该来的总是要来的，躲也没用。
到府衙报到的次日，蔡纪同在三子蔡沉、学生邱崇的陪同下，开始了流放之旅。行至考亭赢州桥头，朱熹和数十名弟子在此为他饯行。
此时天色昏暗，空中飘起了雪花，寒风刺骨。两位六十多岁的老人紧紧相拥，禁不住热泪盈眶，四十年来相学相知的情景涌现在脑海：
乾道六年（1169年），蔡纪同再上西山，将书斋修葺一下，取名为疑难堂，继续埋头苦读，而此山东面云谷，有个晦庵草堂，那是朱熹的书房。两个书斋一东一西，遥相对应。朱蔡二人商定，在书斋外各悬挂一盏灯笼，如果遇到难处需要与对方讨论学习，即把灯熄灭，第二天过来解难。两山悬灯，忽明忽暗，成为一道独特的风景。纪同每次到朱熹处，朱熹一定留他几天，二人论学讨论，经常通宵达旦。
与朱熹相比，蔡纪同还有一个令人称道的优点。他是一个纯粹的学者，真到做到了热心教育，潜心治学。几十年来，从不问功名利禄之事，论其学识，在当代凤毛鳞角，如果参加科举考试，进士及第当如探囊取物，可他到了四十岁，仍然不提科举之事，许多朋友劝他，他摇头以对。杨万里、尤褒等大臣向朝廷推荐，孝宗皇帝下诏书，宣他进京，他还是摇头，以自己身体有病为由坚辞，六十多岁了仍是一袭白衣，可他依旧谈笑风生，在众多士大夫中毫无愧色。
朱熹看着与自己患难与共的老友，即将远行，禁不住潸然泪下，拉着他的手说：纪同此去，关山千里，不知何日再能相见？万务多加保重。
蔡纪同泰然自若，云来雨来，其心如镜，不迎不拒，两不相碍。即兴赋诗一首：
执手笑相别，毋为儿女悲，
轻醇壮行色，扶摇动征衣，
关山虽千里，痴情永不移，
断不负所学，此心天可知。