Geboren in Dorset, England, besuchte Oliver das renommierte Eton College und war Mitglied einer Theatergruppe namens Double Edge Drama. Er hat nicht für die Schauspielerei an der Universität trainiert, sondern ging stattdessen direkt ins Fernsehen, mit einem längeren Aufenthalt in der Seifenoper "Families" (die auch die Karriere des britischen Schauspielers Jude Law startete). Er gewann die Hauptrolle in "Loaded" (1994), was ihm einige Aufmerksamkeit von Filmkritikern verschaffte. Er hat eine Menge Fernseh- und Theaterarbeit geleistet und war in "Crime and Punishment" auf BBC Radio 4 zu hören.
