Costello è nato a Paterson, nel New Jersey, da immigrati italiani. Ha iniziato la sua carriera nel mondo dello spettacolo da adolescente, esibendosi in vaudeville e burlesque. Incontrò Bud Abbott nel 1936 e i due formarono una squadra comica. Divennero rapidamente una delle commedie più popolari al mondo, esibendosi nei nightclub, alla radio e nei film.
La commedia di Abbott e Costello era caratterizzata dalle loro routine slapstick, dalla voce acuta di Costello e dalle espressioni facciali esagerate. Sono apparsi insieme in un totale di 36 film, tra cui "Una notte ai tropici" (1940), "Buck Privates" (1941) e "Abbott e Costello incontrano Frankenstein" (1948).
La salute di Costello iniziò a peggiorare all'inizio degli anni '50 e subì diversi interventi al cuore. Morì di infarto nel 1959 all'età di 52 anni.
Nonostante la sua morte prematura, Costello è considerato uno dei comici più influenti del XX secolo. Il suo lavoro con Bud Abbott ha contribuito a definire il genere della commedia e ha ispirato innumerevoli altri comici.