Холли Мэдисон родилась как Холли Каллен 23 декабря 1979 г. в Астории, Орегон, США.   Ее отец путешествовал по свету, работая в деревообрабатывающей промышленности. С 2 до 11 лет Мэдисон воспитывалась на Острове Принца Уэльского, Аляска, около Кетчикана. Затем ее семья перебралась обратно в Сант-Хеленс, Орегон. Мэдисон пошла учиться в государственный Университет Портленда, где в течение двух лет главным образом изучала психологию и театральное искусство, успевая развиваться сразу же в двух мажорных областях.   В 1999 г. Мэдисон перебралась в Лос-Анджелес, чтобы учиться в Университете Лойола Мэримаунт. Она должна была оплачивать обучение, и начала зарабатывать деньги как модель, став лицом брэнда «Hawaiian Tropic», лосьона для загара, и сотрудничая в том же статусе с частной сетью ресторанов «Hooters».   Как итог, Мэдисон была приглашена в одно из самых известных мест Калифорнии, в Особняк Плейбоя (дом основателя журнала «Плейбой» Хью Хефнера) в Беверли-Хиллз. На тот момент у всемирно известного ловеласа уже было семь подружек, иными словами, семь гражданских жен. Однако Холли все-таки перебралась в шикарные апартаменты и стала одной из официальных девушек Хефнера в августе 2000 г.   В феврале 2002 г., когда все, кроме трех девушек Хефнера, оставили его из-за бесчисленных скандалов, Мэдисон была провозглашена его «девушкой номер один» и перебралась в главную спальню особняка. Можно сказать, он «пожертвовал количеством ради качества». Две другие подруги Хефнера, Бриджет Марквардт и Кендра Уилкинсон, также получили по огромной спальне, но поодаль от главной пары.   В 2008 г. после успеха Мэдисон как главной персоны «Плейбоя», она была объявлена девушкой топ-листа лучших девушек «Hooters’а» 2008 г., приуроченного к 25-й годовщине сети ресторанов. Холли в открытую заявила, что использовала пластическую хирургию, ринопластику носа и увеличение груди (от размера A до D).     В 2003 г. Мэдисон стала участницей «Кибер-девочек недели», иллюстрированного приложения веб-сайта «Плейбоя». Также она появилась на обложке и на страницах ноябрьского выпуска журнала «Плейбой» в 2005 г. вместе с Марквардт и Уилкинсон как часть специального промоутинга реалити-сериала «The Girls Next Door». Девушки появились на обложке вновь, в сентябрьском выпуске 2006 г. и мартовском 2008 г. В третьем сезоне реалити-шоу, в эпизоде «My Bare Lady», Мэдисон заявила, что хочет начать продюсерскую карьеру «Плейбоя». В течение третьего и четвертого сезонов Холли была показана зрителям, вовлеченная в работу на студии «Плейбоя» в качестве молодого специалиста и редактора. Также она помогла с дизайном и подбором девушек для календаря «The Girls Next Door» 2008 г.   Объявив себя любительницей животных, Мэдисон в 2006 г. начала писать статьи о домашних животных для журнала «The Coolest Little Pet». С тех пор она стала называть себя «хозяйкой дворняжек особняка». В апреле 2007 г. Мэдисон в обнаженном виде появилась в публикациях в поддержку организации, выступающей за этическое отношение к животным, PETA. Подзаголовок для статьи говорил сам за себя: «Я, скорее, пойду голой, чем стану носить мех».   В прошлом Мэдисон заявляла, что хочет стать женой Хью Хефнера и родить ему детишек. Да и сам 80-тилетний «папочка» заявил следующее: «У Холли моё сердце, почему у неё не может быть моей спермы?». В одном из мартовских интервью 2008 г. Хефнер сказал: «Я люблю Холли, очень сильно, и, думаю, мы будем вместе до остатка моих дней, однако брак – он никогда не являлся кусочком моего паззла». Да и времена, когда он был законным мужем, были не лучшим временем в его жизни, поэтому вспоминать об этом он не любит. Скандальная жизнь трех великолепных девушек со стариком-плейбоем, где все три «жены» чувствовали себя хозяйками в его доме, по словам всего семейства, на самом деле была настоящими крепкими взаимоотношениями, хотя ревности при этом никто не исключал.   7 октября 2008 г. Мэдисон в видео для TMZ.com заявила, что их отношения с Хефнером закончились, но она, Бриджет Марквардт и Кендра Уилкинсон «все еще снимают видеоматериал вместе». Хефнер подтвердил разрыв, сказав: «Если Холли говорит, что все кончено, я предполагаю, что так оно и есть». Также он подтвердил, что все три девушки продолжать съемки в шестом сезоне «The Girls Next Door» и что он планирует найти себе новых девушек для «гарема» в его особняке.   Мэдисон ушла от Хью к известному голливудскому ловеласу-фокуснику Крису Энджелу.