Josef Harpe sa narodil 21. septembra 1887 v Bueri, Vestfálsko, Nemecké cisárstvo. Harpe vstúpil do nemeckej cisárskej armády v roku 1909, slúžil v prvej svetovej vojne a po vojne zostal v Reichswehri. Na začiatku druhej svetovej vojny bol plukovníkom Wehrmachtu nacistického Nemecka, viedol XXXXI. tankový zbor proti Sovietskemu zväzu a neskôr 9. nemeckú armádu, ktorá bránila Ľvov v ofenzíve Ľvov-Sandomierz v júli – auguste 1944. Naposledy velil skupine armád A, ktorú viedol od 28. septembra 1944 do 17. januára 1945, keď bol zbavený velenia pre neschopnosť svojich jednotiek brániť sa proti Červenej armáde počas ofenzívy Visla-Odra. Na konci vojny viedol 5. tankovú armádu a v rokoch 1945 až 1948 bol väznený Spojenými štátmi. Zomrel v roku 1968.