Проблема федерализма являлась, наверное, тем, что произвело наибольшие разногласия и во время борьбы за ратификацию, и во время раннего развития нации. Конфедерация, которая предшествовала Конституции, была основана на авторитете штатов. Национальное правительство, исходя из Статей Конфедерации, было созданием штатов, и те сохраняли все суверенные полномочия , кроме специально данных нации ( каковых было чрезвычайно мало). Образование, называемое Соединенными Штатами, рассматривали как нечто похожее на лигу штатов.

Однако Джеймс Мэдисон, как и многие другие члены Конвента, признавали, что национальное правительство нуждалось в расширенных полномочиях и должно быть основано на поддержке нации как единого целого, если США хочет стать нацией с реальной силой и единством. Критики Конституции утверждали, что правительство не может работать эффективно на уровне такого большого государства- нации. Они опасались консолидации власти в национальном правительстве и думали, что концом экспансии национальной власти  может стать только деспотизм и тирания. Антифедералисты были уверены, что республиканское правительство, основанное на представительстве, может эффективно функционировать лишь на локальном или штатском уровне. Однако федералисты сумели убедить политических противников, и таким образом США стали  первым в истории федеративным государством, политическое устройство которого определено и закреплено в Конституции ( статьи IV и VI; позже и X поправка ).

Согласно Конституции, федерализм являет собой двойную форму государственного правительства, в которой присутствует функциональное и территориальное разделение власти. Федерализм представляет собой как бы компромисс между двумя другими формами политического устройства: унитарной и конфедеративной. В унитарном государстве вся полнота власти находится в руках центрального правительства. В альтернативной форме – конфедерации – общий центральный орган – Совет Конфедерации обсуждает лишь вопросы общей политики и играет больше рекомендательную роль по отношению к своим суверенным членам, а вся полнота власти находится у них. В федерализме между центральным и местными правительствами существует установленное Конституцией и законами разделение властных полномочий и функций.

Составители Конституции США четко распределили полномочия, которыми было наделено федеральное правительство, а все “остальные” (без детализации и перечисления) отдали властям штатов. Таким образом, центральному правительству принадлежит исключительное право проведения внешней и оборонной политики, предоставления гражданства США иммигрантам, эмиссии денег и контроля денежного оборота, обеспечения внутренней безопасности, определения национальных приоритетов и ряд других.

В ведение штатов вносятся такие статьи как гражданское и уголовное законодательство, организация народного образования, здравоохранения, обеспечение общественного порядка, строительство и поддержание дорог и коммуникаций, контроль за использованием земли и природных ресурсов, и т.д. Некоторые функции, например налогообложение или экологическая безопасность, принадлежат и центру, и штатам. Вообще, система разделения государственных доходов и расходов между центром и штатами довольно четко и последовательно распределена: определенные уровни власти имеют определенные источники поступления в бюджет, тем самым избегая конфликтного дележа.

Важно, что даже при наличии у штатов всех атрибутов суверенитета ( герб, флаг и т.п.), статья IV Конституции недвусмысленно устанавливает полный и истинный суверенитет только на федеральном уровне, все федеральные законы и договоры союза должны исполняться на всей территории США в любом штате. Первоначально это вызывало жесткие разногласия и даже привело к Гражданской войне 1861-1865гг, самой кровопролитной из когда-либо ведущихся на территории Америки, и посеявшей наибольший за всю историю раздор между гражданами страны. Однако, как кажется, с тех пор этот пункт неминуемо выполнялся штатами. Данное положение рассматривается как краеугольный камень существования и функционирования американской федерации.