Губерман народився 1936 року в Харкові. Після школи вступив у Московський інститут інженерів залізничного транспорту, здобув диплом інженера-електрика. Протягом кількох років працював за фахом, паралельно займаючись літературою.
Після інституту познайомився з Олександром Гінзбургом, який видавав один із перших самвидавівських журналів "Синтаксис", почав у ньому друкуватися.
1979 року Губермана заарештували у сфальсифікованій справі про купівлю крадених ікон, його засудили до п'яти років позбавлення волі і заслали в Сибір. 1987 року він емігрував до Ізраїлю.
Набув широкої популярності завдяки своїм афористичним і сатиричним чотиривіршам, які він називає гариками.