Pochodził z Ilina na Wołyniu. Do Łodzi przybył w 1892 r. podczas tzw. emigracji „Litwaków”. Prowadził początkowo zakład produkcji tkanin pluszowych, pracował też jako agent ubezpieczeniowy, pełnił od 1925 r. funkcję prezesa zarządu Internatu dla Dzieci Żydowskich i Fermy w Helenówku. W dniu 13 października mianowany decyzją szefa Zarządu Cywilnego w Łodzi – dr. D. Leistera Przewodniczącym Starszeństwa Żydów w Łodzi (Der Ältester der Juden in Lodsch). Postać wywołująca kontrowersje. Zarzucano mu współpracę z Niemcami. On sam kierował się hasłem „Naszym jedynym wyjściem jest praca”. Jego obrońcy twierdzą, że dzięki wzorowej organizacji getta i korzyściom ekonomicznym jakie przynosiło Niemcom, zdołało przetrwać do lata 1944 r. Wraz z przedostatnim transportem 28 sierpnia 1944 r. wysłany został do Auschwitz-Birkenau, gdzie zginął w nieznanych okolicznościach.
„Trudno było znaleźć motywy, które by nominację Rumkowskiego na Przełożonego Starszeństwa Żydów w Łodzi uzasadniały, jak to miało miejsce z prezesem gminy w Warszawie: Czerniakow coś przecież znaczył, Rumkowski w Łodzi nie znaczył nic. Nigdy nie cieszył się mirem wśród działaczy łódzkiej gminy. Pewien staż pracy społecznej starczył, by szybko wszedł w nową skórę. Doskonale na nim leżała. Rekompensował tym sobie podrzędną pozycje, jaką zajmował w poprzednim okresie.”
Arnold Mostowicz