Cronologicamente, o game se passa um ano depois dos episódios do primeiro "Yakuza". Depois de vários dramas, o ex-mafioso Kazuya Kiryu queria ter uma vida normal ao lado da afilhada Haruka. No entanto, uma nova ameaça vinda do lado ocidental do Japão pode levar a uma guerra total entre gangues de Tóquio e Osaka. Paralelamente, é também um embate pessoal entre dois "dragões": Kiryu e Ryuji Gôda, o "dragão de Kansai", da máfia do lado ocidental da ilha.