故事发生在两个世纪以前北新英格兰的波士顿市。一个夏日的早晨，一群身穿清教徒素装、面部表情严肃的男男女女等在监狱门口，他们今天前来观看对通奸犯海丝特•白兰的惩处。狱门打开了，海丝特抱着年仅3个月的婴儿走了出来，她胸前醒目的位置佩戴着一个红色的A字(即英文通奸adultery一词的第一个字母)作为耻辱的标志。按照《圣经》和法典上的有关说法，犯这种罪的女人是要被处以死刑的。但地方当局经过反复考虑，认为这个年轻貌美的女人一定是受了极大诱惑才堕落的，所以他们不准备用严格的法律来惩罚她。按州长的提议，海丝特要在有一人多高的绞刑台上示众三个小时，并从此以后永远把那个耻辱的标志“A”戴在胸前。

    海丝特站在台上的时候，一个身材矮小、面容多皱的陌生男子混迹于人群中，他自称是新来的医生，很关切地打听海丝特事件的来龙去脉。台上的海丝特认出了此人正是自己两年未曾谋面的丈夫，可是此人示意让她别做声。

    原来海丝特•白兰出身于英国的破落世家，几年前嫁给一个上了年纪、感情枯燥的学者白兰。婚后两年，他们移居北美，白兰打发海丝特一个人先动身，约定好等他处理完事情随后就去。可是此后海丝特再也没有见到丈夫的踪影。就这样她在波士顿独居了两年，如今却作为犯了通奸罪的女人站到了耻辱的示众台上。

    礼拜堂建筑物的阳台上坐着当地的显要人物，州长在这里主持对海丝特的审讯 ......