20世紀50年代，為滿足新中國成立初期鐵路建設的需要，上海、福州、南昌鐵路局先后成立基建工程處，經過數次劃轉改制，三家工程處于1984年更名為工程總公司，并于2001年前后分別更名為上海鐵路建設（集團）有限公司、福建鐵路建設（集團）有限公司及南昌鐵路工程（集團）有限公司，這就是二十四局的前身。
上海鐵路建設（集團）有限公司前身是上海鐵路局鐵路工程處，成立于1953年，深耕華東三省一市。在滬寧、滬杭、浙贛、津浦四大鐵路干線復線工程中，鋪軌超過700公里；僅廠礦、碼頭專用線，鋪設百余條。修建上海、合肥、杭州鐵路新客站，蚌埠東、南京東、南翔編組站等，以及上海軌道交通明珠線等一大批國家大中型鐵路、城市、公路、水利工程建設項目。
福建鐵路建設（集團）有限公司的前身是福州鐵路局基建處，成立于1959年。先后參與了鷹廈、外福、川黔、成昆、浙贛、京九等國家重點鐵路新線、復線、電氣化、客運專線建設，修建各類鐵路線路近百條。其中，在六十年代作為主要力量參與的鷹廈、外福鐵路路基病害整治，共整治病害工程1730多處。
南昌鐵路工程（集團）有限公司前身為南昌鐵路局基建工程處，成立于1958年，后與原鐵道部第二工程局第三工程處合并。先后承擔過國家重點工程成渝、寶成、成昆、京九、昌九城際等鐵路建設，工程分布在國內20多個省市及國外建筑市場。生產的16米先張梁，32米、24米超低高度PPC梁，TK—Ⅲ型軌枕先后填補國內橋梁、軌枕生產空白。
