Ефим (по паспорту Хаим) Эммануилович Рубинчик родился в местечке Березино под Минском в еврейской семье кустаря. Окончил гимназию.

В 1920 г. работал уполномоченным Погостского волостного революционного комитета, затем переехал в Москву.

В 1921—1924 гг.— на комсомольской работе.

В 1924— 1926 гг.— наборщик в типографии «Рабочей газеты».

С 1926 по 1930 гг. учился в Вечернем коммунистическом университете им. Я. М. Свердлова, одновременно на партийной работе (с 1927 г.)

В 1937—1940 гг. — первый секретарь Коломенского горкома ВКП(б).

В 1941—1942 гг. - директор Коломенского машиностроительного завода.

С мая 1942 по 1949 гг. - директор Завода «Красное Сормово» в Горьком. В 1942 — 1945 гг. под руководством Рубинчика на заводе во много раз было увеличено производство танков Т-34. Первые сверхплановые танки вышли из ворот "Красного Сормова" в июле 1942 года. В августе число выпущенных танков вновь было увеличено. В этом же месяце заводу, впервые за время войны, было вручено переходящее Красное Знамя Государственного Комитета Обороны. Более высокой трудовой коллективной награды в то время не существовало. Стоит отметить, что своим героическим трудом сормовичи удерживали это знамя 33 месяца подряд. Это единственный подобный случай за всю историю Великой Отечественной войны. Знамя было оставлено заводу на вечное хранение. Сейчас оно находится в музее завода "Красное Сормово". Всего за годы войны под руководством Е.Э. Рубинчика сормовичи выпустили свыше 12 тысяч танков Т-34, а также несколько миллионов снарядов для артиллерии и "Катюш".

После Великой отечественной войны был директором ряда оборонных заводов, с 1965 по 1985 гг. - руководителем Волго-вятского территориального управления Госснаба СССР. . При Е.Э. Рубинчике было организован ряд предприятий и объединений Госснаба СССР в городе Горьком и других городах Волго-вятского района РСФСР. Крупнейшим объединением стало - "Волговятмашэлектроснабсбыт", созданное для обеспечивания нескольких областей и автономных республик Волго-вятского района машиностроительной и электротехнической продукцией. По приказу Рубинчика, на окраине Сормовского района города Горького был построен и в 1974 году открыт универсальный складской комплекс, рассчитанный на хранение и переработку продукции с годовым грузооборотом 150 тысяч тонн и металлобаза на 250 тысяч тонн. Аналогов данному комплексу в Поволжье не было.

Сын - генерал-лейтенант Рубинчик Александр Ефимович.

Скончался в 1991 году, похоронен на Кунцевском кладбище Москвы.