Его царствование было золотым веком для инквизиции, еще со времен Фердинанда и Изабеллы усиленно преследовавшей еретиков (сначаламавров, евреев, потом, кроме того, протестантов). На аутодафе иногда присутствовал и король, употреблявший все усилия, чтобы самыми бесчеловечными мерами искоренить ересь. Он воспретил испанцам поступать в заграничные учебные заведения, учредил бдительный надзор над теологической литературой, украдкой проникавшей в Испанию, старался совсем отрезать «еретической чуме» доступ в свои владения. С протестантами инквизиция имела больше всего хлопот на севере Испании; на юге Филипп обратил преимущественное внимание на морисков. Со времени падения Гранады (1492) мавры, чтобы избавиться от насилий и вечной угрозы изгнания, целыми толпами принимали католичество, но, наружно исполняя все церковные обряды, многие из них на деле оставались верны магометанству. Филипп решил положить этому конец. Путем систематических притеснений и предъявления морискам трудноисполнимых требований (вроде, например, запрещения женщинам закрывать лицо на улице, повеления выучиться в три года испанскому языку, устраивать все домашние празднества так, чтобы любой прохожий мог войти в дом, и т.д.) Филипп достиг того, что мавры начали отчаянную вооруженную борьбу. Разразилось страшное восстание, длившееся больше двух лет. После варварского усмирения, сопровождавшегося свирепыми массовыми казнями, Филипп велел выселить всех морисков из страны. Очень многие из них были проданы в рабство; другие переселены в северные провинции Испании. «Победа» над морисками в придворных кругах считалась одним из блестящих дел первой половины царствования Филиппа.
