Williams, NBA’de 50 yılı aşkın süredir yer alıyordu. Kariyerine 76ers’ta başladı ve 29 yaşında Bulls’un genel müdürü olarak tüm zamanların en genç genel müdürü oldu.

Bulls’ta 27 yıl boyunca bu görevi sürdürdü, ardından Atlanta Hawks ve Sixers’ta aynı görevi üstlendi; 1983’te Philadelphia ile şampiyonluk kazandı ve 1989’da Magic’i kurdu.

Takımın kuruluşunun sadece üç yılı dolmadan Orlando, draftta Shaquille O’Neal’ı kadrosuna kattıktan sonra kadrosuna büyük bir takviye yaptı. O’Neal, Magic’in playoff takımı haline gelmesine ve takımı playofflara taşımasına yardımcı olurken hemen baskın bir figür haline geldi.