Яровой служил в силовых структурах с 1992 года. В 2010–2012 годах был главой внутренних войск МВД.
В 2012 году был назначен советником службы министра внутренних дел. В 2012–2014 годах занимал должность советника департамента обеспечения деятельности министра, стратегического анализа и прогнозирования МВД Украины.
Яровой более семи лет проработал в команде предыдущего главы МВД Арсена Авакова. В марте 2014 года Ярового назначили заместителем министра внутренних дел, а в марте 2020 года перевели на должность первого заместителя.