1937年淞沪会战爆发以后，中国军队第88师是最先进入战场抗击日军的中国部队。最初谢晋元是作为第262旅参谋主任，在宝山路商务印书馆对面的楼上在最前线指挥战斗。战斗到9月中旬，第524团团附黄永淮在战斗中身负重伤，第262旅旅长便 任命谢晋元为新任团附，指挥该团负责正面阵地的防守任务。
因战况激烈，该团先后补充了4次兵员，原来的老兵在战火中不断牺牲，补充人员主要来自地方保安团。战斗至10月下旬，面对日军的不断增兵，中国军队发现如果死守闸北，将有被包围歼灭的危险，于是下令中国军队撤退到苏州河南岸防守。
但为了配合外交，给世人留下中国军队仍坚守苏州河北岸抗战的印象，于是决定让第88师留下一部分部队，作为中国最后的军队坚守。
对于留下来最后坚守的军队，师长孙元良很清楚他们将面临的结果，曾表示留置闸北守备最后阵地的部队，最多是牺牲，最少也是牺牲。”最终 孙元良决定以中校团附谢晋元率第262旅524团固守原第88师师部所在的四行仓库为据点，作为中国在闸北的最后一支 部队坚守苏州河北岸。这便是坚守四行仓库的谢晋元及所率领的部队被称为“四行孤军”的原因。
孙元良亲自向谢晋元在四行仓库下达了率第一营死守上海最后阵地的命令。之所以将最后两支中国军队死守的阵地设在四行仓库基于以下几点考虑:首先四行仓库是钢筋混凝土结构，坚固易于防守，并容易掌握部队。四行仓库作为原第88师师部，粮食和弹药都储存了很多，而且为了防止自来水管被日军截断，还有大量的饮用水储存。