Окончил техническое училище, работал чертёжником, строителем. В 1943 году закончил политехнический институт.
Во время Второй мировой войны Мастроянни был депортирован немцами в лагерь на севере Германии, однако сумел сбежать оттуда и в течение нескольких месяцев скрывался в Венеции. По окончании войны переехал работать в Рим.В 1945 году был бухгалтером в кинофирме. Затем изучал архитектуру. Играл в студенческом театре.
С 1948 года выступал на профессиональной сцене, в том числе в спектаклях Лукино Висконти. Снимался как статист с 1938 года, актёр в кино — с 1947 года.Сыграв у Висконти в «Белых ночах» (1957) и у Марио Моничелли в криминальной комедии «Злоумышленники неизвестны» (1958), Мастроянни был замечен великим Феллини, который пригласил его на главную роль в своей грандиозной кинофреске «Сладкая жизнь» (1960). Этот фильм мгновенно сделал его известным и востребованным по всей Европе в непривычной для него актёрской ипостаси интеллектуала и космополита.В 1961 году последовали не менее восторженные отклики кинокритиков о работе Мастроянни в фильме Микеланжело Антониони «Ночь», где его отрешённая манера исполнения точно соответствовала режиссёрской задаче передачи отчуждения, царящего в современном обществе. Следующие две картины с его участием — «Развод по-итальянски» со Стефанией Сандрелли (реж. Пьетро Джерми) и «Частная жизнь» с Брижит Бардо (реж. Луи Маль) — были ориентированы на более широкую аудиторию.Выиграв две подряд награды Британской академии кино, Мастроянни исполнил главную роль в новом шедевре Феллини — «Восемь с половиной» (1963), после чего продюсер Карло Понти привлек его к ряду проектов с участием своей супруги, Софи Лорен. Под руководством режиссёра Витторио де Сики Мастроянни и Лорен сыграли супругов в «Браке по-итальянски» и в другом популярном фильме, «Вчера, сегодня, завтра». Так родился один из самых знаменитых дуэтов мирового кино.Перешагнув сорокалетний рубеж, Мастроянни вновь работает с Висконти («Посторонний», 1967), Феллини («Рим», 1970) и Романом Полянским («Что?», 1973). Очередной проект с Витторио де Сикой и Софи Лорен — «Подсолнухи» (1970) — был осуществлён не без советского участия.Во второй половине 1970-х и в 1980-х годах, актёр снимался ещё больше, чем раньше. Каждый год выходило по нескольку фильмов с его участием, однако большая часть из них с художественной точки зрения оставляла желать лучшего. Хотя звёздный статус Мастроянни несколько пошатнулся, критики по-прежнему благоволили к нему. В 1986 году он получил приз Каннского кинофестиваля и был в третий раз выдвинут на «Оскар», на этот раз за роль в фильме Никиты Михалкова «Очи чёрные».В одном из последних своих фильмов — «Прет-а-порте» Роберта Олтмана (1994) — Мастроянни сыграл русского, который влюблён в героиню Софи Лорен.Его брат — известный итальянский монтажёр Руджеро Мастроянни, жена — актриса Флора Карабелла (дочь — Барбара, 1951 г.р.)В 1971-1974 годах творческие и личные взаимоотношения связывали Мастроянни с французской актрисой Катрин Денёв (дочь — актриса Кьяра Мастроянни, 1972 г.р.).Актёр скончался 19 декабря 1996 года в Париже от рака поджелудочной железы. У его смертного одра дежурили как законная супруга, так и мать его дочери — Катрин Денёв.