Роберт 7 лет встречался с Cарой Джессикой Паркер, с которой расстался в 1991 году.
Первый брак: с 1992 по 2004 с певицей и моделью Деборой Фалконер. Совместный сын, Индио (родился 7 сентября 1993 года).
Второй брак: в 2003 году на съёмках триллера «Готика» Роберт встретил продюсера Сьюзан Левин, на которой женился 27 августа 2005 года. 31 августа 2011 года тётя Сьюзан, Нэнси Миллер, объявила, что её племянница ждёт ребёнка. 7 февраля 2012 года на свет появился Экстон Элиас Дауни.