Joachim era un bambino prodigio e fece il suo debutto all'età di sette anni. Ha studiato con Stanisław Serwaczyński e successivamente con Ferdinand David al Conservatorio di Lipsia. Ha studiato anche composizione con Moritz Hauptmann.
La carriera di Joachim come solista lo portò in tutta Europa e si esibì con molte delle principali orchestre dell'epoca. Era anche un musicista da camera e si esibì con molti dei principali musicisti del suo tempo, tra cui Clara Schumann, Johannes Brahms e Joseph Hellmesberger, Sr.
Joachim fu anche un insegnante devoto e insegnò al Conservatorio di Vienna dal 1869 al 1907. Fu anche il fondatore del Joachim Quartet, uno dei quartetti d'archi più rinomati dell'epoca.
Joachim ha avuto una grande influenza sullo sviluppo del violino e i suoi insegnamenti hanno avuto un profondo impatto sui violinisti di tutto il mondo. È considerato uno dei più grandi violinisti di tutti i tempi e la sua eredità continua ancora oggi a ispirare ed educare i musicisti.