Joe Jackson je svojo smrt nekako napovedal že v nedeljo s tvitom, v katerem je sporočil, da je videl že več sončnih zahodov, kolikor mu jih je še preostalo. "Sonce vzide, ko je čas in če ti je všeč ali ne, sonce zaide, ko je čas," je tvitnil.
Joe Jackson se je leta 1949 poročil s Katherine, s katero sta imela potem deset otrok - Maureen ali "Rebbie" (1950), Sigmund ali "Jackie" (1951), Toriano ali "Tito" (1953), Jermaine (1954), La Toya (1956), Marlon (1957) z dvojčkom Brandonom, ki je umrl kmalu po rojstvu, Michael (1958), Steven Randall ali "Randy" (1961) ter Janet (1966).
Joe Jackson je spočel preveč otrok, da bi se lahko posvetil sanjam o boksarski karieri, tako da je delal kot upravljavec žerjava pri podjetju U.S. Steel. Skupaj z bratom Luthrom sta v 50. letih prejšnjega stoletja ustanovila glasbeno skupino The Falcons, ki je razpadla čez nekaj let, Joe pa je glasbeni talent našel pri svojih otrocih in ga s pridom izkoristil.
S sinovi Titom, Jackiejem in Jermainom je leta 1963 ustanovil skupino The Jackson Brothers, bolj slavna skupina The Jackson 5 pa je nastala leta 1966, z dodatkom Marlona in Michaela Jacksona. Joe je uvodoma postal manager skupine, ki je postala ena najbolj uspešnih R&B skupin vseh časov.
Joe je kasneje vodil kariere svojih hčera Rebbie, La Toya in Janet, vendar so ga tudi te kmalu zapustile, kot so ga tudi sinovi, ker je bil preveč naporen, uraden in vzvišen. Svoj "otroški vrtec" je vzgajal s trdo roko, včasih tudi dobesedno, kar je tudi priznal. Priznal je tudi občasno varanje svoje žene, s katero sta se nekajkrat razšla, ob smrti sina Michaela leta 2009 pa sta bila skupaj.