Po tej porażce Harry nie dał się pokonać przez 2 najbliższe lata. Pokonał m.in. przyszłego mistrza Mike McTigue i przeciwników wagi ciężkiej; Kanonierka Smith, Billy Miske i Billa Brennana, oraz 5-krotnie Walka Levinskyego. Przegrał w końcu w kolejnym starciu z Tommym Gibbonsem w maju 1920 roku. W 1921 r. Greb stoczył wygrany pojedynek z Kidem Norfolkiem , mówi się, że to właśnie po tej walce Harry Greb zaczął mieć problemy ze wzrokiem na prawe oko. Mimo iż nie zalecano dalszej kontynuowanie boksu Harry Greb się tym nie przejmował i wygrał kolejnych 13 walk.
Pierwsze walki z Tunneyem
23 maja 1922 r. walczył ze znakomitym Gene Tunneyem, przyszłym mistrzem wagi ciężkiej. Stawką był tytuł mistrza ameryki w wadze półciężkiej. W jednomyślnej decyzji wygrał Harry Greb. Jak się później okazało to była jedyna porażka Tunney’a w jego karierze bokserskiej. Nie co ponad rok później doszło do rewanżu i tym razem swoją wyższość pokazał Gene Tunney.
Zdobycie mistrzostwa
W końcu Harry Greb mógł powalczyć o prawdziwe mistrzostwo. 31 lipca 1923 r. walczył z Johnnym Wilsonem o tytuł Mistrza Świata Wagi Średniej. Greb zachował emocje na wodzy i w spokojnym stylu wygrał większość rund zostając mistrzem świata. Za nim doszło do pierwszej obrony tytułu, Greb stoczył kilka walk, w tym kolejną przegraną z Gene Tunneyem. Następnym ważnym pojedynkiem, i tym razem już o tytuł, było rewanżowe starcie z Johnnym Wilsonem. Na początku walki przewagę uzyskał Wilson, ale z kolejnymi rundami inicjatywę odzyskał Greb i to on wygrał jednogłośnie na punkty. Następnie w obronie mistrzostwa jego rywalem był Fay Keiser. Greb od początku miał przewagę i ostatecznie zakończył walkę przed czasem w 12 rundzie.
Następne starcie, mimo iż nie o tytuł, było dość głośne z powodu dyskwalifikacji Harry’ego Greba za walkę po gongu. Jego przeciwnik Kid Norfolk, od początku prowokował walcząc nie czysto, a w drugiej rundzie wypchną Greba po za ring. Greb przegrał ten pojedynek przez dyskwalifikację. Publiczność była do tego stopnia niezadowolona z werdyktu, że sędzia musiał uciekać z ringu. W kontrowersyjnej decyzji pokonał również Tiger Flowersa, a także zremisował w kolejnej walce z Gune Tunneyem. W 1925 r. po raz piąty spotkał się z Tunneyem, przegrywając kolejny raz. Ci dwaj wrogowie na ringu, zostali w końcu przyjaciółmi, po za nim.
W czerwcu 1925 r. Harry Greb w obronie tytułu spotkał się z panującym mistrzem w wadze półśredniej i przyszłym w wadze średniej Mickey Walkerem. Był twardym pięściarzem lecz to nie przeszkodziło Harry’emu aby wygrać tę walkę. Po 15 rundach jednogłośnie wygrał Greb. Podobno obaj bokserzy spotkali się pewnego razu w klubie i stoczyli „rewanż”, w którym Greb łatwo znokautował Walkera. W sierpniu tego roku Harry Greb uległ wypadkowi samochodowemu, ale już 2 miesiące później stoczył walkę.
Strata tytułu
Harry Greb wygrał dwie kolejne walki, w tym toczoną w deszczu z Allentown Joe Gans, z której według obserwatorów spisywał się znakomicie. 19 sierpnia 1926 r. Doszło do rewanżu z Tiger Flowersem, który dzierżył niedawno odebrany tytuł Grebowi. Werdykt po tej walce był także kontrowersyjny, lecz nie na korzyść Greba. Po tej porażce rozważał zakończenie kariery. Ostatecznie zgodził się na propozycję Jacka Dempseya, i został jego sparing-partnerem przed wielką walką z Gene Tunneyem.
Nieoczekiwana śmieć