Губерман родился в 1936 году в Харькове. После школы поступил в Московский институт инженеров железнодорожного транспорта, получил диплом инженера-электрика. Несколько лет работал по специальности, параллельно занимаясь литературой.
После института познакомился с Александром Гинзбургом, который издавал один из первых самиздатовских журналов "Синтаксис", начал в нем печататься.
В 1979 году Губермана арестовали по сфальсифицированному делу о покупке краденых икон, его приговорили к пяти годам лишения свободы и сослали в Сибирь. В 1987 году эмигрировал в Израиль.
Получил широкую известность благодаря своим афористичным и сатирическим четверостишиям, которые он называет гарики.