جو فریزر یکی از یازده فرزند یک خانواده بسیار فقیر بود. در نوجوانی درگیر کارهای خلاف شد اما از هیجده سالگی ورزش مشت زنی را آغاز کرد و به فاصله سه سال مدال طلای این رشته را در المپیک به دست آورد. از فریزر پرسیدند که آیا به راکی بالبوآ شباهت داشتهاست؛ وی در پاسخ اظهار داشت بیتردید. من در کشتارگاه کار کردهام و همان کسی هستم که در خیابانهای فیلادلفیا میدوید