Сергей Жилин родился 23 октября 1966 года в Москве. Первым учителем музыки стала его грузинская бабушка — педагог по фортепиано и скрипке, которая в 2,5 года обнаружила у Сергея абсолютный слух и посадила его за инструмент. В период учебы в Центральной музыкальной школе при Консерватории он увлекался классикой, и ему пророчили мировую славу академического пианиста. Однако музыкант-виртуоз всерьез заинтересовался джазом, и это привело к тому, что в 1982 году он поступил в Cтудию искусства музыкальной импровизации (ныне - Московский колледж импровизационной музыки), а уже буквально через год, в 1983 году, он создал ныне легендарный "Фонограф-Джаз-Бэнд" - молодежный оркестр, исполняющий музыку в самых различных стилях: от традиционного джаза, соул и мэйнстрима до фанка, рок-н-ролла, джаз-рока и фьюжн.

Такая музыкальная всеядность и универсальность позволяла Сергею Жилину совмещать работу в совершенно разноплановых коллективах - от Президентского оркестра п/у Павла Овсянникова до рок-н-ролльных групп и всевозможных джазовых комбо.

В 1987 году "Фонограф-Джаз-Бэнд" был принят на работу в Московскую областную филармонию - с этого момента началась активная профессиональная, насыщенная различными музыкальными проектами жизнь коллектива. В 1990 году состоялись первые зарубежные гастроли оркестра в Израиле, а уже в 1994 году Сергей Жилин и его оркестр выступают с первым сольным концертом в зале Центрального Дома Кинематографистов.

В 1994 году Сергея Жилина приглашают на встречу глав государств США и России, где происходит импровизированное совместное выступление российского пианиста с президентом США Биллом Клинтоном, который, как оказалось, давно и серьезно увлечен игрой на саксофоне. Совместный джэм имел огромный успех, а Клинтон тогда сказал, что для него было "большой честью играть с лучшим джазовым пианистом России…".

Во время ответного визита Президента России, Сергей Жилин приезжает в Америку со своим "Фонограф-Джаз-Бэндом". В США музыкант дает более 30 концертов и производит настоящий фурор на родине джаза - с этого момента начинается эпоха востребованности Сергея Жилина на Западе, пианист совместно музицирует с мировыми звездами джаза и блюза, а его имя вносят в джазовую энциклопедию "Джаз. ХХ Век".

С 1995 по 2002 год Сергей Жилин и "Фонограф-Джаз-Бэнд" активно гастролируют за рубежом: их концерты имеют феноменальный успех в Швейцарии, США, Франции, Италии, Израиле, Германии... Сергею Жилину присуждают диплом магистра искусств Международной академии наук в Сан-Марино по специальности "пианист, дирижер, аранжировщик, педагог". К слову сказать, председателем квалификационной комиссии был корифей отечественного и мирового джаза Олег Лундстрем.

В 2002 году Жилин становится музыкальным руководителем и главным дирижером Российской постановки мюзикла "Чикаго", а в 2003 году - музыкальным руководителем традиционного международного фестиваля "Дни Российской Культуры".

В течение нескольких лет Жилин ведет авторскую музыкальную джазовую передачу на радиостанции "Юность".
В творческом активе Сергея Жилина множество успешных музыкальных проектов, среди которых особенно необходимо отметить концерт "Памяти Эллы Фитцджеральд", сольный концерт "Мы хотим быть разными" и гала-концерт "В созвездии Питерсона" с участием выдающихся мастеров российского джазового фортепианного искусства.

Сегодняшние проекты Сергея Жилина отличаются поразительным разнообразием, оригинальностью и высокой креативностью - это и соединение русской классической музыки с достижениями современного джазового мэйнстрима в новой программе "Чайковский IN JAZZ. Времена года 2005", и рок-н-ролльное попурри на темы песен из репертуара Элвиса Пресли в программе "Blues Brothers II", и авторские версии джазовых стандартов-evergreen в программах "Упоение джазом" и "Посвящение Питерсону", и ежегодные выступления с эстрадными и фолк-звездами на международном фестивале "Славянский базар".

Особого внимания заслуживает работа Сергея Жилина и его оркестра на телевидении. Все программы конкурса " Голос" проходят при непосредственном участии оркестра Сергея Жилина. Всегда музыканты, в нарушение всех прискорбных традиций, играют исключительно вживую, то есть не пользуются фонограммой.
В 2005 году Сергею Жилину присвоено звание заслуженного артиста России.

Сергей Жилин — народный артист Российской Федерации. Это звание ему присвоили 27 декабря 2019 года указом президента России. Формулировка была такой: «за большие заслуги в области культуры и искусства, многолетнюю плодотворную деятельность».