Zinovij Gerdt, rodným jménem Zalman Chrapinovič, se narodil do chudé židovské rodiny jako čtvrté dítě, jeho rodným jazykem byl jidiš. V roce 1932 se přestěhoval k bratrovi do Moskvy, zde se vyučil elektromontérem a ve stejné době začal také hrát (v Divadle pracující mládeže).