Народився 16 (29) червня 1907 року в селі Оксанина (нині Уманського району Черкаської області) в сім'ї селянина. Українець. У 1913—1919 роках навчався в Вапнярський початковій залізничній школі. 

У Червоній Армії з 1924 року. З вересня 1924 року по жовтень 1925 року був курсантом Одеської піхотної школи, до якої спрямований по комсомольській путівці Новоросійського окружного комітету комсомолу. З жовтня 1925 по серпень 1928 року — курсант Київської артилерійської школи.

З січня по липень 1937 року — начальник штабу 2-го танкового батальйону 8-ї механізованої бригади Київського військового округу; з липня 1937 по травень 1938 року — командир 1-го танкового батальйону 8-ї механізованої бригади Білоруського Особливого військового округу; з травня 1938 року по липень 1940 року — командир 9-го окремого легко-танкового полку Білоруського Особливого військового округу. Атестований як «виключно сумлінний, відмінно знаючий військову справу, користується діловим авторитетом командир». З липня 1940 по березень 1941 року — заступник командира 2-ї танкової дивізії Прибалтійського Особливого військового округу.

З березня 1941 року, в 35-річному віці, став командиром 28-ї танкової дивізії 12-го механізованого корпусу Прибалтійського Особливого військового округу (з червня 1941 року — Північно-Західного фронту), з якою він вступив в бій у червні 1941 року.

Брав участь в оборонних боях Північно-Західного фронту. У серпні 1941 року в складі Новгородської оперативної групи військ дивізія під командуванням І. Д. Черняховського брала участь в обороні Новгорода. У грудні 1941 року 28-а танкова дивізія була переформована в 241-ту стрілецьку дивізію. З 7 січня по 20 травня 1942 року брала участь у Дем'янській наступальній операції військ Північно-Західного фронту.

У червні 1942 року — у розпорядженні начальника Головного автобронетанкового управління. З 15 червня по 25 липня 1942 року — командир 18-го танкового корпусу Воронезького фронту. З липня 1942 по квітень 1944 року — командувач 60-ю армією Воронезького фронту (з 23 березня 1943 року — Курського, з 26 березня 1943 року — Цетрального, з 6 жовтня 1943 року — знову Воронезького, з 20 жовтня — 1-го Українського фронтів). До кінця 1942 року армія вела оборонні бої на лівому березі річки Дон північніше Воронежа. Війська під командуванням І. Д. Черняховського брали участь у Воронезько-Касторненській (24 січня — 2 лютого 1943), Харківській (2 лютого — 3 березня 1943) наступальних операціях, що проходили в рамках Воронезько-Харківської стратегічної операції. У ході цих операцій були звільнені Воронеж (25 січня), Касторне (29 січня), Курськ (8 лютого). Учасник Курської битви (5 липня — 23 серпня 1943 року), Чернігівсько-Прип'ятської наступальної операції (26 серпня — 30 вересня 1943), відвоювання Лівобережної України. У другій половини вересня 1943 року війська армії вийшли до Дніпра, північніше Києва, з ходу форсували його і захопили плацдарми в районах Страхолісся, Ясногорська і на схід від Димера. У листопаді 1943 — квітні 1944 року армія брала участь в Київській наступальній (3—13 листопада 1943 року), Київській оборонній (13 листопада — 22 груденя 1943 року), Житомирсько-Бердичівській (24 грудня 1943 — 14 січня 1944), Рівне-Луцькій (27 січня — 11 лютого 1944 року), Проскурівсько-Чернівецькій (4 березня — 17 квітня 1944 року) операціях.

Указом Президії Верховної Ради СРСР від 17 жовтня 1943 року за високі організаторські здібності при форсуванні Дніпра і виявлений особистий героїзм, генерал-лейтенанту Черняховському Івану Даниловичу присвоєно звання Героя Радянського Союзу з врученням ордена Леніна і медалі «Золота Зірка» (№ 1922).

У квітні 1944 року — командувач військами Західного фронту, а після його перейменування — 3-го Білоруського фронту (з 24 квітня 1944 до лютого 1945 року). У травні — першій половині червня 1944 року війська фронту вели бойові дії місцевого значення на території Білорусії. Беручи участь у Білоруській наступальній стратегічній операції (23 червня — 29 серпня 1944 року), фронт провів Вітебсько-Оршанську (23—28 червня 1944 року), Мінську (29 червня — 4 липня 1944 року), Вільнюську (5—20 липня 1944 року), Каунаську (28 липня — 28 серпня 1944 року) операції. У результаті були відвойовані Вітебськ (26 червня), Орша (27 червня), Борисов (1 липня), Мінськ (3 липня), Молодечно (5 липня), Вільнюс (13 липня), Каунас (1 серпня) і війська фронту вийшли до кордону зі Східною Пруссією.

Указом Президії Верховної Ради СРСР від 29 липня 1944 року генерал армії Черняховський Івану Данилович удостоєний другої медалі «Золота Зірка».

З 5 по 22 жовтня 1944 року окремі сили фронту спільно з 1-м Прибалтійським брали участь у Мемельській операції. У результаті була ізольована Курляндське угруповання противника і війська увійшли в Східну Пруссію і північно-східну Польщу.

З 16 по 30 жовтня 1944 року І. Д. Черняховський керував самостійною Гумбінен-Гольдапскою фронтовою операцією. З 13 січня по 18 лютого 1945 року брав участь у Східно-Пруській наступальной стратегічній операції, в ході якої 13—26 січня провів Інстербурзько-Кенігсберзьку операцію, війська фронту вийшли на підступи до Кенігсберга і блокували східно-пруське угруповання німців.

18 лютого 1945 року в районі міста Мельзак (нині Пенежно, Польща) смертельно поранений. Помер того ж дня. Похований у Вільнюсі (Литва). У 1992 році прах І. Д. Черняховського був перепохований у Москві на Новодівочому цвинтарі.