1960年初,刚满18岁的阿里开始参加业余拳击比赛,这时的阿里已经接受了6年的拳击训练。凭借优异的表现,18岁的阿里成为美国代表队的成员,出征1960年的罗马奥运会。在81公斤级的比赛中,阿里三战全胜,顺利进入决赛。在决赛中阿里经过三个回合,以点数击败波兰人皮埃茨克斯基获得奥运会金牌。这也是阿里获得的唯一的一枚奥运金牌。