Яровий служив у силових структурах із 1992 року. У 2010–2012 роках був главою внутрішніх військ МВС.
2012 року його призначили радником служби міністра внутрішніх справ. У 2012–2014 роках обіймав посаду радника департаменту забезпечення діяльності міністра, стратегічного аналізу і прогнозування МВС України.
Яровий понад сім років пропрацював у команді попереднього глави МВС Арсена Авакова. У березні 2014 року Ярового призначили заступником міністра внутрішніх справ, а у березні 2020 року перевели на посаду першого заступника.