事實上，勞工黨內的激進派和溫和派的鬥爭逐漸白熱化。在六六年中的時候，勞工黨內的激進派，因不滿勞黨領袖與人民進步黨組織聯合陣線，導致五位黨領袖提出辭職，他們是主席林建壽，總秘書魏利煌醫生，財政陳志勤醫生，副主席戴衛與黃漢德。

此事後來雖告緩和，林建壽及陳志勤繼續扮演反對黨議員的角色，但裂痕已無法彌補，在日後的鬥爭中進一步展露出來。黨的秘書處實權已轉入受華文教育的手裏。儘管在較早時，受英文教育者指責黨的受華文教育者應負起對黨選舉失敗的責任，並尋求回復以前的非種族性溫和思想的立場，但受華文教育者有截然不同的看法，在批判這些溫和派的同時，也佈置在黨內取得領導權。反之受英文教育者因缺乏基層，不是變得消極。便是在爭奪勢力中被擊敗。溫和社會主義者﹝費邊派﹞或持有專業地位的領導人已面臨被排斥的厄運。