Након основне школе коју је завршио у родној Лозници, завршио је нижу гимназију у Лозници (прве две године) и у Шапцу (трећу и четврту годину), а потом је завршио вишу Прву београдску гимназију. Године 1884 уписује Природно-математички одсек Велике школе у Београду. Ове студије је завршио 1888. године. Школске године 1888/89. радио је као предавач географије у Другој мушкој београдској гимназији. Потом је 1889. уписао студије физичке географије и геологије на Бечком универзитету као државни питомац. Цвијић је докторирао 1893. године на Универзитету у Бечу. Његова докторска теза под називом „Das Karstphänomen“ представила га је широј јавности и учинила познатим у светским научним круговима. Овај рад је касније преведен на више језика (код нас „Карст“, 1895) а захваљујући њему Цвијић се у свету сматра утемељивачем карстологије.
Након повратка из Беча, марта 1893, постао је редовни професор Филозофског факултета Велике школе у Београду. У почетку је предавао физичку географију и етнографију, а затим само географију. Путујући као студент, и касније као професор, по скоро свим крајевима Балканског полуострва, рано је развио своје интересовање за народни начин живота и културу. Стога на одсеку за географију организује проучавање антропогеографије и етнографије као споредне предмете. Након укидања Велике школе, а од оснивања Београдског универзитета 12. октобра 1905, Јован Цвијић је постао један од осам првих редовних професора на Универзитету.
Цвијић је одиграо важну и активну улогу у реформама школства помажући у оснивању посебне катедре за етнологију на којој је први предавач био његов најстарији ђак и сарадник Јован Ердељановић, а потом и Тихомир Ђорђевић, док је Цвијић остао носилац наставе на географији. Пресудно је утицао на отварање пет нових факултета: Медицинског, Пољопривредног и Богословног у Београду, Филозофског у Скопљу и Правног у Суботици.
Јован Цвијић се сматра оснивачем и покретачем антропогеографско-етнолошке школе у Србији, која чини полазну основу највећег дела истраживачких радова у југословенским друштвеним наукама 20. века. У својим антропогеографским истраживањима Цвијић је изучавао миграције, сеоска и градска насеља, типове кућа, материјалну културу становништва у зонама под различитим утицајима цивилизација, психолошке типове и варијетете, народну ношњу и покућство.
Након Првог светског рата Цвијић је допринео одређивању политичких граница нове југословенске државе користећи своја научна истраживања као аргумент у преговорима.
Био је два пута ректор Београдског универзитета (1906/07 и 1919/20).
