林文錚更容易讓人感嘆他的不幸，感嘆造化弄人，雖然有非常良好的開局，但誰也想不到最終結(jié)果。一九三八年十二月，教育部下令，將逃難到湖南沅陵的北平藝專與杭州藝專合并，結(jié)果出現(xiàn)了很嚴(yán)重的派系之爭。文人本來好斗，國難期間也是如此，學(xué)生的火氣特別大，動(dòng)不動(dòng)就鬧學(xué)潮。據(jù)說背后還有張道藩在搗鬼，林風(fēng)眠對付不了，甩手不干了，留下一份辭職聲明，讓林文錚念給全校的師生聽。

林風(fēng)眠一走，林文錚也無心干下去，辭職，夫婦雙雙離開。在當(dāng)時(shí)，辭職就是失業(yè)，他們夫婦已有了五個(gè)孩子，一失去工作，頓時(shí)陷入貧困之中。好在半年后，又在西南聯(lián)大找到了工作，林文錚教西洋文學(xué)史，蔡威廉教法語，聊以生存。也就是在這時(shí)候，蔡威廉生第六個(gè)孩子，得了產(chǎn)褥熱不治而亡，他的鄰居沈從文以十分沉痛的心情寫道：

我每天早晚進(jìn)出，依然同小朋友招呼。間或稱呼他家第三位黑而胖的小姐為“大塊頭”，問她爸爸媽媽好，出不出門玩。小孩子依然笑嘻嘻答應(yīng)“很好”?？墒乔皟商炻牸依锶苏f，才知道孩子的母親，在家生產(chǎn)了一個(gè)小毛毛，已死去三天了。

林文錚變了一個(gè)人，沒有志同道合的好友林風(fēng)眠，沒有美滿恩愛的賢妻蔡威廉，他從此失去人生方向。法國留學(xué)生的瀟灑派頭不見了，床頭金盡囊空如洗，作為六個(gè)孩子的父親,養(yǎng)家糊口成為第一要?jiǎng)?wù)。有一種說法，國民黨去臺(tái)灣前，曾動(dòng)員他也去，但是被拒絕了，他對國民黨毫無感情。

林文錚曾經(jīng)迷戀宗教，一度皈依佛門，信奉“紅教”，藏傳佛教的一個(gè)分支。一九四九年后高校調(diào)整，他被調(diào)劑到廣州的中山大學(xué)，經(jīng)濟(jì)情況開始好轉(zhuǎn)，一九五三年又調(diào)到南京大學(xué)外語系，教法國文學(xué)史。一九五七年反“右派”前，他是外語系副主任、法語教研室主任。南大的法語專業(yè)一向厲害，與他多少有點(diǎn)關(guān)系，“文革”前差點(diǎn)獨(dú)立，成立專門的法語學(xué)校，連新校址都選好了。“文革”后，全國法語的第一個(gè)博士點(diǎn)也在南大。

如果不打成“右派”，以林文錚的法文水平，或許是另外一個(gè)結(jié)局。他再婚了，找了個(gè)比自己年輕二十歲的大姑娘。然而他成了“右派”，很快又是反動(dòng)會(huì)道門分子，判刑二十年，直到一九七六年春天才被放出來。這時(shí)候，離粉碎“四人幫”，只有幾個(gè)月。