Horváth József a Veszprém megyei Szentgál szomszédságában lévő egyik tanyán látta meg a napvilágot. Veszprémben a piarista gimnáziumban érettségizett 1928-ban, majd a veszprémi szemináriumban folytatta tanulmányait, amelyet elvégezve 1933-ban szentelték pappá. Pályafutása első éveit káplánként (Nagyvázsony, Káptalantóti), illetve a Zichy-családnál házikáplánként töltötte, kisegített Sármelléken (1934), később a balatonszepezdi leendő plébánián volt szervezőlelkész (1934–1942). Rövidebb adminisztrátori megbízások után (Görgeteg: 1942–1946, Fűzfőgyártelep: 1946–1949, Balatongyörök: 1951) Aszófőre került plébánoshelyettesként, ahol 1951 és 1962 között szolgált. 1962-ben a hatalom felfüggesztette papi tevékenysége folytatását. 1964-től különböző beosztásokban Káptalantóti híveit látta el (1965–1973), majd tizenkét évig a múlt heti posztban szereplő Vörösberény plébánosa volt (1973–1985).

Horváth József a címben szereplőkkel ellentétben nem mint levéltáros, hanem mint püspöki és káptalani könyvtáros dolgozott a veszprémi aulában 1974-től kezdődően. Többekkel együtt dolgozott az 1975-ben megjelent, történettudományi kvalitásokkal bíró egyházmegyei névtár kiadásában. Fáradhatatlan szervező, tudományos munkát folytató pap volt. Megírta Vörs, Káptalantóti és Vörösberény történetét, megjelentette Padányi püspök somogyvári vizitációját. Az ekkor létező egyháztörténeti munkaközösség fontos tagjaként szoros munkakapcsolatban állt a szomszédos felsőörsi plébánossal, Körmendy Józseffel.

Élete végén, az 1980-as évek első felében megadatott neki is – Körmendy Józseffel együtt –, hogy történeti kutatásait a Vatikáni Titkos Levéltárban folytassa. A két tudós pap 1982 és 1984 között két-két ízben, összesen négy szemeszteren keresztül volt Rómában. Lukcsics József századelőn megkezdett munkájához hasonlóan nem csak egyházmegyéjük történelmével kapcsolatban „búvárkodtak”, hanem a 16. századi magyar vonatkozású anyag szisztematikus adatfeltárását végezték. Feladatuk a veszprémi egyházmegyei származású Lékai László bíboros útmutatásai szerint a korábban félbeszakadt Monumenta Vaticana sorozat időbeli folytatásának feltárása lett. Az anyag feldolgozása Horváth részéről 1984 nyarán még folyamatban volt, azonban munkáját halála miatt nem tudta befejezni.