Connery è nato a Edimburgo, in Scozia, nel 1930. Suo padre era un operaio e sua madre era una donna delle pulizie. Connery lasciò la scuola all'età di 13 anni e iniziò a lavorare come lattaio. Successivamente si unì alla Royal Navy, dove prestò servizio per tre anni.
La carriera di attore di Connery iniziò all'inizio degli anni '50, quando apparve in numerosi piccoli ruoli in film britannici. La sua grande occasione arrivò nel 1962, quando fu scelto per il ruolo di James Bond nel film Dr. No. Il film ebbe un enorme successo e Connery divenne rapidamente uno degli attori più famosi al mondo.
Connery ha continuato a interpretare James Bond in altri sei film, tra cui Dalla Russia con amore (1963), Goldfinger (1964), Thunderball (1965), Si vive solo due volte (1967), Diamonds Are Forever (1971) e Never Say Never Again. (1983). Ha anche recitato in numerosi altri film di successo negli anni '60 e '70, tra cui La grande fuga (1963), Assassinio sull'Orient Express (1974) e L'uomo che volle farsi re (1975).
Negli anni '80 la carriera di Connery iniziò a declinare. Ha recitato in numerosi film scarsamente accolti, tra cui Outland (1981), Never Say Never Again (1983) e The League of Extraordinary Gentlemen (2003). Tuttavia, ha ricevuto alcuni consensi dalla critica per i suoi ruoli in Gli intoccabili (1987), Indiana Jones e l'ultima crociata (1989) e The Rock (1996).
Connery si è ritirato dalla recitazione nel 2006. Ha ricevuto numerosi premi per il suo lavoro, tra cui un Academy Award, due BAFTA e tre Golden Globe. È stato anche nominato cavaliere dalla regina Elisabetta II nel 2000.