Pierwszy publiczny koncert rozegrał w wieku 7 lat, w rodzinnej Łodzi. Wykonał wówczas utwory takich klasyków, jak Wolfgang Amadeusz Mozart, Franz Schubert czy Feliks Mendelssohn, zachwycając publiczność niespotykanym na tak młody wiek wyczuciem muzycznym. W 1897 r. Rubinstein wyjechał do Berlina, gdzie kontynuował kształcenie.

Jako trzynastolatek, Rubinstein zadebiutował na deskach Filharmonii Berlińskiej, a w 1902 r. koncertował w Filharmonii Warszawskiej. Talent młodzieńca dostrzegł Ignacy Jan Paderewski (wybitny pianista i przyszły premier Polski), zapraszając go na konsultacje do Szwajcarii.

W 1904 r. Rubinstein przeniósł się do Francji, podpisując kontrakt na koncerty z paryskim impresariatem. W ten sposób zapoczątkował wielką międzynarodową karierę. Koncertował m.in. w Stanach Zjednoczonych (w Nowym Jorku, Chicago czy Bostonie), Wiedniu, Rzymie, Rosji, Londynie czy Ameryce Południowej (Buenos Aires, Montevideo, Santiago de Chile, Rio de Janeiro). Regularnie wracał do Warszawy. Przeważnie występował w duetach, w asyście tak wybitnych muzyków, jak Pau Casals czy Jacques Thibaud. Twórczość pianisty opierała się przede wszystkim na wyjątkowej, artystycznej interpretacji utworów znanych kompozytorów XIX i XX-wiecznych – Chopina, Brahmsa, Dvořáka czy Szymanowskiego. Repertuar Rubinsteina obejmował zarówno muzykę klasyczną, romantyczną, jak i współczesną.

Podczas II wojny światowej pianista sprzeciwiał się faszyzmowi i nazizmowi, potępiając politykę prześladowania ludności żydowskiej. Na dowód swojej dezaprobaty, konsekwentnie odmawiał występów we Włoszech i Niemczech.

Po powstaniu Izraela, Rubinstein mocno związał się z tym krajem. Często tam przyjeżdżał i grał bezpłatne koncerty. Zaprzyjaźnił się również z długoletnim prezydentem Jerozolimy Teddy Kollekiem. Polski długo nie odwiedzał. Po raz pierwszy po wojnie uczynił to w 1958 r. Dwa lata później stanął na czele komisji Międzynarodowego Konkursu Pianistycznego im. Chopina, gdzie zaprezentował własną wersję chopinowskiego Koncertu fortepianowego f-moll. Od tego momentu uświetniał swoimi występami inne znane imprezy muzyczne, m.in. Festiwal Warszawska Jesień (1966) czy jubileusz 60-lecia Filharmonii Łódzkiej (1975). Ostatni publiczny występ Rubinsteina miał miejsce w 1976 r., w londyńskiej Wigmore Hall. Trzy lata później pianista odbył ostatnią osobistą podróż do Polski.

Zmarł w Genewie w 1982 r. Zgodnie z jego ostatnim życzeniem został skremowany. Urnę z prochami pochowano nieopodal Jerozolimy – na zboczu góry Orah, gdzie Rubinstein posiadał darowany mu wcześniej kawałek ziemi.

Czy wiesz, że… ?

• Rubinstein chciał, aby jego prochy zostały rozsypane na ziemi, a nie pochowane w urnie. Miał to być swoisty hołd dla ojca pianisty oraz demonstracja silnego związku z państwem żydowskim. Rubinstein nie zdawał sobie jednak sprawy, że Żydzi nie palą ciał, wierząc w ich zmartwychwstanie. Władze Izraela długo nie wyrażały zgody na rozsypanie prochów, ostatecznie zezwalając wyłącznie na ich pochówek na skromnym, jednoosobowym cmentarzu.
• Pianista był wielkim miłośnikiem cygar. Przez pewien czas posiadał nawet własną plantację tytoniu na Kubie.
• Podczas koncertu na pierwszej konferencji ONZ w 1945 r. Rubinstein zademonstrował swoje przywiązanie do Polski. Wyrażając dezaprobatę dla braku polskich dyplomatów na obradach, rozpoczął występ od zagrania Mazurka Dąbrowskiego – hymnu Polski.
• Żona Rubinsteina Nela, to autorka znanej amerykańskiej książki kucharskiej Nela’s Cookbook (1983). Książka zawiera informacje na temat kulinarnych upodobań Rubinsteina i innych członków bohemy artystycznej Nowego Jorku, Los Angeles i Paryża.