W roku 1923 Sejm Rzeczypospolitej Polskiej podjął uchwałę o budowie w wiosce Gdynia portu morskiego. W roku 1926 Gdynia otrzymała prawa miejskie. W 1929 powstał tam Klub Sportowy Gdynia i właśnie tę datę przyjęło się uważać za początek historii Arki. Obecna nazwa pojawiła się jednak w roku 1952, kiedy klub zaczął występować jako Kolejarz Arka.
W Polsce zaczęło być o klubie głośno dopiero w latach 60. Jako Morski Związkowy Klub Sportowy Arka Gdynia zajmował dość stabilne miejsce w II lidze (czyli dzisiejszej I). Był na tyle silny, że pewien młody piłkarz ze Starogardu Gdańskiego, na którego parol zagięła Lechia, podpisał umowę z Arką, namówiony przez jej ówczesnego trenera Grzegorza Polakowa. Ten piłkarz nazywał się Kazimierz Deyna, a chwila słabości źle się dla niego skończyła. Wprawdzie nigdy koszulki Arki nie włożył, ale stał się formalnie jej zawodnikiem, mimo że wiązała go umowa z Włókniarzem Starogard Gdański. Został zdyskwalifikowany przez PZPN, bo nie mógł przecież reprezentować dwóch klubów jednocześnie.
W Gdyni był klub Marynarki Wojennej Flota i KS Bałtyk, funkcjonujący jako wydział Stoczni im. Komuny Paryskiej. Flota w piłce się nie liczyła. Jej najlepsi gracze, tacy jak Zbigniew Bieliński czy Mirosław Tłokiński, przechodzili zwykle do Arki, a czasami szli dalej w świat. Arkę finansowało kilka przedsiębiorstw związanych z gospodarką morską. Siedziba klubu znajdowała się przez wiele lat przy reprezentacyjnym skwerze Kościuszki, na wprost cumującego tam „Daru Pomorza". Można powiedzieć, że Arka była w pewnym sensie oknem na świat.
To do niej, a nie do Lechii, przeszedł w roku 1971 pewien 20-letni napastnik gdańskiej Polonii. Tylko rok spędził w Gdyni, ale zdobył w tym czasie koronę króla strzelców I ligi i prosto z MZKS pojechał do Górnika Zabrze. Zawojował ligę polską, francuską, został wicekrólem strzelców mundialu i stał się wzorem dla Erica Cantony w AJ Auxerre. Ten napastnik to Andrzej Szarmach. W MZKS wśród jego partnerów był m.in. wychowanek Arki, gdynianin Jan Erlich, późniejszy piłkarz Śląska Wrocław i reprezentacji.
Na początku lat 70. MZKS Arka była jeszcze za mała dla takich talentów. Ale wkrótce to się zmieniło. Od kiedy z I ligi spadła Lechia (1963), Trójmiasto czekało na swojego reprezentanta w najwyższej klasie rozgrywkowej. Arka miała na to największe szanse, Lechia tułała się między III a II ligą, Bałtyk stał się trzecią siłą, a w II lidze grał jeszcze Stoczniowiec. Kiedy Lechia wróciła do II ligi, w kwietniu 1973 roku jej mecz z Arką w Gdańsku (1:1) oglądało 35 tysięcy kibiców. Lechię prowadził późniejszy trener reprezentacji Ryszard Kulesza, Arkę zaś były trener kadry juniorów Jerzy Słaboszowski.