Роберт Дауни-младший родился в Манхэттене, Нью-Йорк, младший из двух детей. Его отец — Роберт Дауни-старший — режиссёр, актёр и продюсер, а его мать — Элси (в девичестве Форд) — тоже актриса. У отца Дауни ирландское и русско-еврейское происхождение, а у матери немецкое и шотландское происхождение. Его отец родился с именем «Роберт Элиас», но изменил свою фамилию на «Дауни» (как у его отчима Джеймса Дауни), когда он был несовершеннолетним и хотел поступить на службу в армию.
У Дауни были небольшие роли в проектах своего отца в детстве. Он дебютировал в кино в возрасте пяти лет и играл больного щенка в фильме «Загон» (1970), затем в возрасте семи лет снялся в «Дворце Грисера» (1972). В возрасте 10 лет, он жил в Англии и изучал классический балет, как часть более крупной программы. Он вырос в Гринвич-Виллидже и учился в учебном центре исполнительских искусств «Stagedoor Manor» в северной части штата Нью-Йорк, когда был подростком. Когда его родители развелись в 1978 году, Дауни переехал в Калифорнию со своим отцом, но в 1982 году он покинул среднюю школу Санта-Моники и переехал в Нью-Йорк, чтобы продолжить актёрскую карьеру.