Rosenthal rändas Eestist Ameerikasse 1879. aastal koos oma vanematega, kui ta oli viieaastane. Enamat tema päritolust ja elust Eestis pole teada. Teda on peetud nii eestlaseks kui ka juudiks, aga pole võimatu, et temas voolas mõlemat verd. Rosenthalid asusid elama Manhattanile, Lower East Side’i piirkonda. Kui Herman oli 14aastane, jättis ta kooli pooleli ja ühines ühega paljudest tänavajõukudest. Ta oli tavaline pisisuli, kes tühjendas joodikute taskuid ja näppas kust sai. Vahel teenis Herman elatist ka ajalehtede müügiga Brooklyni silla juures.

Vaata 3D piltidega lugu neljapäevasest digilehest!

Siis aga viis saatus Rosenthali kokku mõjuka poliitiku – demokraatide kohaliku bossi Big Tim Sullivaniga. Tarmukas noormees meeldis Big Timile ning sai töökoha piljardisaalis, mille tagaruumis sõlmiti ühtlasi ka kihlvedusid. Nii avaneski Rosenthalile hasartmängude maailm, kui ta hakkas seal vastu võtma mängurite panuseid.