W roku 1923 Sejm Rzeczypospolitej Polskiej podjął uchwałę o budowie w wiosce Gdynia portu morskiego. W roku 1926 Gdynia otrzymała prawa miejskie. W 1929 powstał tam Klub Sportowy Gdynia i właśnie tę datę przyjęło się uważać za początek historii Arki. Obecna nazwa pojawiła się jednak w roku 1952, kiedy klub zaczął występować jako Kolejarz Arka.
W Polsce zaczęło być o klubie głośno dopiero w latach 60. Jako Morski Związkowy Klub Sportowy Arka Gdynia zajmował dość stabilne miejsce w II lidze (czyli dzisiejszej I). Był na tyle silny, że pewien młody piłkarz ze Starogardu Gdańskiego, na którego parol zagięła Lechia, podpisał umowę z Arką, namówiony przez jej ówczesnego trenera Grzegorza Polakowa. Ten piłkarz nazywał się Kazimierz Deyna, a chwila słabości źle się dla niego skończyła. Wprawdzie nigdy koszulki Arki nie włożył, ale stał się formalnie jej zawodnikiem, mimo że wiązała go umowa z Włókniarzem Starogard Gdański. Został zdyskwalifikowany przez PZPN, bo nie mógł przecież reprezentować dwóch klubów jednocześnie.