Основатель третьей по времени создания (после «Братьев» и «Сокола») советской рок-группы «Славяне» (1965) и принёсшей ему наибольшую популярность — «Скоморохи» (1966). Также принимал участие в группах: «Лос Панчос», «Скифы», коллективе польских студентов МГУ «Тараканы», в составе которых исполнял песни Элвиса Пресли и твист Арно Бабаджаняна «Песня о Москве».
В начале 70-х режиссёр Андрон Михалков-Кончаловский начинал свою работу над фильмом «Романс о влюблённых». Композитором фильма должен был стать Мурад Кажлаев, но он отказался. Тогда Аркадий Петров предложил кандидатуру Градского. Градский в этом фильме не только сочинял музыку, но и исполнял вокальные партии. Вышедший в 1974 году фильм имел значительный успех и принёс известность создателю музыки к фильму. Музыкальный журнал «Billboard» объявил Градского «Звездой года» (1974) «за выдающийся вклад в мировую музыку».