Рыбаков родился 1 (14) января 1911 года в еврейской семье Наума Борисовича Аронова и его жены Дины Абрамовны Рыбаковой. В автобиографии писатель местом рождения указывал Чернигов. На самом деле родился он в селе Держановка (ныне Носовского района Черниговской области), где его отец Наум Аронов служил инженером на винокуренном заводе местного помещика Харкуна.

С 1919 года жил в Москве, на Арбате, д. 51. Учился в бывшей Хвостовской гимназии в Кривоарбатском переулке. В этой же школе и в это же время учился Юрий Домбровский. Восьмой и девятый классы окончил в Московской опытно-показательной школе-коммуне (сокращённо — МОПШКа) во 2-м Обыденском переулке на Остоженке. Школа возникла как коммуна комсомольцев, вернувшихся с фронтов Гражданской войны.

По окончании школы работал на Дорогомиловском химическом заводе грузчиком, потом шофёром.

В 1930 году поступил в Московский институт инженеров транспорта.

5 ноября 1933 года арестован и Особым совещанием коллегии ОГПУ осужден на 3 года ссылки по статье 58-10 (Контрреволюционная агитация и пропаганда). По окончании ссылки, не имея права жить в городах с паспортным режимом, скитался по России. Работал там, где не надо заполнять анкеты, однако с 1938 года по ноябрь 1941 года был главным инженером Рязанского областного управления автотранспорта.

С ноября 1941-го по 1946 год служил в Красной Армии в автомобильных частях. Участвовал в боях на различных фронтах, начиная от обороны Москвы и кончая штурмом Берлина. Последняя должность — начальник автослужбы 4-го Гвардейского стрелкового корпуса (8-я гвардейская армия), звание — гвардии инженер-майор. За отличие в боях с немецко-фашистскими захватчиками признан не имеющим судимости.

В 1960 году полностью реабилитирован.

А. Н. Рыбаков умер 23 декабря 1998 года в Нью-Йорке. Похоронен на Кунцевском кладбище в Москве.

Поэт, прозаик и эссеист Алексей Макушинский — сын Анатолия Рыбакова. Писательница Мария Рыбакова — внучка А. Н. Рыбакова.

В 1947 году А. Рыбаков обращается к литературной деятельности, начав писать приключенческие повести для юношества — повесть «Кортик» (1948) и её продолжение — повесть «Бронзовая птица» (1956). Обе повести были экранизированы — фильм «Кортик» в 1954 году (повторно в 1973 году), фильм «Бронзовая птица» в 1974-м.

Юношеству были адресованы и следующие повести — «Приключения Кроша» (1960) с продолжениями «Каникулы Кроша» (1966) и «Неизвестный солдат» (1970). Их экранизации — «Приключения Кроша» в 1961 году, «Каникулы Кроша» в 1979 году, «Минута молчания» в 1971 году и «Неизвестный солдат» в 1984 году. По отдаленным мотивам повести «Каникулы Кроша» был также снят фильм «Эти невинные забавы» в 1969 году.

Первый роман, написанный Рыбаковым, был посвящен людям, хорошо ему знакомым, — «Водители» (1950). Роман «Екатерина Воронина» (1955), экранизированный в 1957 году, имел большой успех. В 1964 году публикует роман «Лето в Сосняках».

В 1975 году вышли продолжение повестей «Кортик» и «Бронзовая птица» — повесть «Выстрел» и фильм по ней — «Последнее лето детства» (1974).

В 1978 году увидел свет роман «Тяжёлый песок». Роман повествует о жизни еврейской семьи в 1910—1940-х годах в одном из многонациональных местечек на севере Украины, о яркой и всепреодолевающей любви, пронесенной через десятилетия, о трагедии Холокоста и мужестве гражданского сопротивления. Это вершинное произведение писателя соединило все краски его художественной палитры, добавив к ним философичность, тягу к историческому анализу и мистическую символику (образ главной героини, прекрасной возлюбленной, затем жены и матери Рахили на последних страницах является как полуреальное олицетворение гнева и мести еврейского народа). Этот роман был экранизирован, премьера фильма состоялась в 2008 году.

Роман «Дети Арбата», написанный ещё в 1960-х годах и опубликованный только в 1987 году, был одним из первых о судьбе молодого поколения тридцатых годов, времени больших потерь и трагедий, роман воссоздает судьбы этого поколения, стремясь раскрыть механизм тоталитарной власти, понять «феномен» Сталина и сталинизма. В 2004 году по мотивам романа «Дети Арбата» был выпущен многосерийный одноимённый фильм.

В 1988 году вышел фильм по сценарию Рыбакова «Воскресенье, половина седьмого», завершивший цикл о Кроше.

Тогда же вышло продолжение «Детей Арбата» — роман «Тридцать пятый и другие годы». В 1990 году — роман «Страх», в 1994-м — «Прах и пепел». В тетралогии использованы элементы биографии автора (Саша Панкратов).

В 1995 году было издано собрание сочинений в семи томах. Позднее — автобиографический «Роман-воспоминания» (1997).

Книги изданы в 52 странах, общим тиражом более 20 миллионов экземпляров. Многие произведения экранизированы.

Анатолий Рыбаков был президентом советского ПЕН-центра (1989—1991), секретарём правления Союза писателей СССР (с 1991).