Urodził się w niemieckim Kattowitz, jako Ernst-Otto Prandella. Po śmierci ojca, Ernsta-Romana, na wschodnim froncie pierwszej wojny światowej, został adoptowany przez drugiego męża matki – urzędnika Romana Wilimowskiego. W roku 1922, po przyłączeniu południowo-wschodniej części Górnego Śląska do Polski, Ernst stał się Ernestem, obywatelem RP, chociaż przeważnie mówił po niemiecku i w dialekcie śląskim.
W piłkę zaczął grać w klubie niemieckim – 1. FC Kattowitz, gdy miał jedenaście lat. Jako osiemnastolatek został zauważony przez działaczy Ruchu Hajduki Wielkie (późniejszy Ruch Chorzów). W tym klubie zadebiutował w pierwszej lidze, z tym klubem czterokrotnie zdobywał mistrzostwo Polski (1934, 1935, 1936, 1938).