Родился в семье Мэрилин О`Коннор, юриста по гражданским правам, и Гордана Хоффмана, исполнительного директора компании «Xerox». Родители Сеймура развелись, когда будущему актеру исполнилось девять лет. Он тяжело пережил распад семьи и в течение некоторого времени пребывал в депрессии. Умер от передозировки наркотиков. Хоффман был в отношениях с костюмершей Марианной «Мими» О’Доннелл последние 15 лет его жизни,расстались незадолго до смерти актера. Они познакомились в 1999 году во время работы в пьесе «В Арабии мы бы все стали королями». У них было трое детей: сын — Купер Александр (род. 2003), дочери: Таллула (род. 2006) и Вилла (род. 2008).