Natif de Warsaw en Pologne, mais élevé dans l’arrondissement de Brooklyn, à New York, cet ex-poids coq a livré plus de 400 combats (pas tous officiels) avant les années 20. Ensuite, il mixa son savoir avec le manager Al Weill et il se mit à former de jeunes boxeurs. Après cinq années d’abstinence envers ce sport, Goldman allait devenir un entraîneur extrêmement respecté dans la légendaire institution du Stillman Gym dans les années 30. En 1936, Goldman mena Lou Ambers vers la conquête de titre mondial de poids légers. Mais sans aucun doute, son meilleur coup arriva dans les années 1950’s alors qu’il transforma inlassablement la technique déficiente de Rocky Marciano, qui au fil du temps, allait se retirer en tant que Champion mondial invaincu.
Ses boxeurs champions sous sa tutelle : Al McCoy, Lou Ambers, Joey Archibald, Marty Servo, Rocky Marciano, et plusieurs autres.