Gaziantep İli, Yavuzeli İlçesi, Kasaba köyünün yakınında bulunan Rumkale; Gaziantep şehir merkezinden . Yavuzeli’nden ise . uzaklıkta, Merzimen Çayı’nın Fırat Nehri ile birleştiği yerde, dik kayalar üzerindedir. Rumkale’ye Kasaba köyünden ve Halfeti’den teknelerle kolaylıkla ulaşılmaktadır. Antik dönemden günümüze kadar Şitamrat, Kal-a Rhomayta, Hromklay, Ranculat, Kal-at el Rum, Kal-at el Müslimin, Kale-i Zerrin (Altın Kale) ve Rumkale gibi bir çok isimle adlandırılmıştır.

Rumkale Fırat ve Merzimen kıyılarından itibaren dimdik yükselen sarp kayalıklarla çevrili yüksek bir tepe üstüne kurulmuştur. 1838 de Rumkaleyi ziyaret eden Moltke’ye “kayalığın nerede bittiğini, insan eserinin nerede başladığını söyleyebilmek çok zor” dedirtecek kadar doğayla uyumlu mimari özelliğe sahiptir. Kale iki beden halindedir. Birinci beden; kalenin doğu, kuzey ve batıda doğal kayalığın dik olarak yontulmasıyla, doğal sur meydana getirilerek oluşturulmuştur. İkinci beden ise bu doğal surun üstüne sert kalker kesme taşlarla sur duvarı olarak yapılmıştır. Kuzey ve doğu surlarında dikdörtgen planlı 7 burç ile kuzeyde çok sayıda mazgal pencere yer almaktadır. Kalenin güney yöndeki kayalık uzantısı 12. yüzyılda 30m. derinliğinde ve 20m. genişliğinde oyularak uçurum (hendek) haline getirilmiştir. Böylece, savunmaya yönelik olarak karayla kalenin direkt ilişkisi kesilmiştir. Kale 120m. genişliğinde ve 200m. uzunluğunda bir alanı kaplamaktadır.

Rumkale bir zamanlar Halfeti (Şanlıurfa) ile Gaziantep arasında sınır oluşturan Fırat ırmağı kıyısında yer alırdı. Merzimen çayının suyu Rumkale dibinde, derin ve sarp vadi içinde akan Fırat nehrine karışırdı. Günümüzde üç yanı Baraj gölüyle çevrilmiş olup, yarım ada görünümündedir. Kalenin eteklerinde ise aşağı şehir bulunmaktaydı.

Rumkale’nin doğu ve batıdan olmak üzere iki ana giriş kapısı mevcuttur. Doğu girişi Fırat nehriyle, batı girişi ise Merzimen çayı üzerine kurulmuştu. Bugün sadece ayaklarının kalıntısı mevcut olan köprü, kara ile irtibatı sağlamaktaydı. Buradan patika yolla kalenin giriş kapısına çıkılmaktadır. Batı cephesinde yol üzerine 20m. aralıklarla 4 tane kule şeklinde kapı yapılarak savunma açısından büyük kolaylık sağlanmıştır. Batı surlarda kuzeyden itibaren birinci kapı dikdörtgen planlıdır. Nöldeke birinci kapının olduğu yerde bir türbe ve bir iskele olduğundan bahsetmiştir. İkinci kapı kareye yakın dikdörtgen planlı yarım daire şeklindedir. Üçünçü kapı tahrip olmuştur. Dördüncü kapı kare planlı haç tonozludur. Beşinci kapı kalenin Fırat’a bakan doğu cephesindedir. Dikdörtgen biçimli bu kapı, içte biri yuvarlak, diğeri sivri kemerli iki niş içine alınmıştır.